Lời giải:
HPT \(\Leftrightarrow \left\{\begin{matrix} (a+b)+(ab)^2=3\\ (a+b)^2-2ab=2\end{matrix}\right.\)
Đặt $a+b=x, ab=y$ thì hệ trở thành:
\( \left\{\begin{matrix} x+y^2=3\\ x^2-2y=2(1)\end{matrix}\right.\Rightarrow \left\{\begin{matrix} 4y^2=4(3-x)\\ 4y^2=(x^2-2)^2\end{matrix}\right.\)
\(\Rightarrow (x^2-2)^2=4(3-x)\)
\(\Leftrightarrow x^4-4x^2+4x-8=0\)
\(\Leftrightarrow (x-2)(x^3+2x^2+4)=0(*)\)
Lại thấy:
\((a-b)^2\geq 0\Leftrightarrow (a+b)^2\geq 4ab\Leftrightarrow x^2\geq 4y\)
Kết hợp với (1) \(\Rightarrow x^2=2y+2\leq \frac{x^2}{2}+2\Rightarrow x^2\leq 4\Leftrightarrow -2\leq x\leq 2\)
\(\Rightarrow x^3+2x^2+4=x^2(x+2)+4>0(**)\)
Từ $(*); (**)\Rightarrow x-2=0\Rightarrow x=2$
$\Rightarrow y=\frac{x^2-2}{2}=\frac{2^2-2}{2}=1$
Vậy $a+b=2; ab=1$. Áp dụng định lý Vi-et đảo thì $a,b$ là nghiệm của PT $X^2-2X+1=0$
$\Rightarrow (a,b)=(1,1)$