Lời giải:
Đặt \((a+b,ab)=(x,y)\)
HPT \(\leftrightarrow \left\{\begin{matrix} (a+b)+ab=5\\ a^2+2ab+b^2-2ab=5\end{matrix}\right.\)
\(\Leftrightarrow \left\{\begin{matrix} (a+b)+ab=5\\ (a+b)^2-2ab=5\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x+y=5\\ x^2-2y=5\end{matrix}\right.\)
\(\Leftrightarrow \left\{\begin{matrix} 2y=10-2x\\ x^2-2y=5\end{matrix}\right.\)
\(\Rightarrow x^2-(10-2x)=5\)
\(\Leftrightarrow x^2+2x-15=0\Leftrightarrow (x-3)(x+5)=0\)
\(\Rightarrow \left[\begin{matrix} x=3\\ x=-5\end{matrix}\right.\)
Nếu $x=3$ thì $y=2$
\((a+b,ab)=(x,y)=(3,2)\) nên theo định lý Viete đảo thì $a,b$ là nghiệm của pt: \(X^2-3X+2=0\Rightarrow (a,b)=(2,1)\) và hoán vị.
Nếu $x=-5$ thì $y=10$
\((a+b,ab)=(x,y)=(-5,10)\) nên theo định lý Viete đảo thì $a,b$ là nghiệm của pt: \(X^2+5X+10=0\) (dễ thấy pt này vô nghiệm)
Vậy \((a,b)=(2,1),(1,2)\)
