Nhận xét : P > 0
P đạt giá trị nhỏ nhất <=> \(P^2\) đạt giá trị nhỏ nhất.
Ta có : \(P^2=\frac{\left(a^2+b^2+1\right)^2}{\left(a-b\right)^2}=\frac{\left(a^2+b^2\right)^2+2\left(a^2+b^2\right)+1}{\left(a^2+b^2\right)-2ab}\)
\(=\frac{\left(a^2+b^2\right)^2+2\left(a^2+b^2\right)+1}{a^2+b^2-8}\)
Đặt \(t=a^2+b^2,P^2=y\) \(\Rightarrow y=\frac{t^2+2t+1}{t-8}\)
\(\Rightarrow y\left(t-8\right)=t^2+2t+1\Leftrightarrow t^2+t\left(2-y\right)+\left(1+8y\right)=0\)
Để pt có nghiệm thì \(\Delta=\left(2-y\right)^2-4\left(1+8y\right)=y^2-36y\ge0\)
\(\Leftrightarrow y\left(y-36\right)\ge0\) \(\Leftrightarrow\left[\begin{array}{nghiempt}y\ge36\left(\text{nhận}\right)\\y\le0\left(\text{loại}\right)\end{array}\right.\)
Suy ra \(y=P^2\ge36\Rightarrow P\ge6\).
Dấu "=" xảy ra khi \(\frac{\left(t+1\right)^2}{t-8}=36\Leftrightarrow t=17\)
\(\Rightarrow\begin{cases}ab=4\\a^2+b^2=17\end{cases}\) \(\Leftrightarrow\begin{cases}a=4\\b=1\end{cases}\) (vì a > b)
Vậy P đạt giá trị nhỏ nhất bằng 6 khi (a;b) = (4;1)