Lời giải:

Xét \(\frac{1}{P}=\frac{1}{a}+\frac{1}{b}+\frac{2}{ab}\)

Áp dụng bất đẳng thức AM-GM:

\(4=a^2+b^2\geq 2ab\Rightarrow ab\leq 2\Rightarrow \frac{2}{ab}\geq 1\)

Theo Cauchy-Schwarz: \(\frac{1}{a}+\frac{1}{b}\geq \frac{4}{a+b}\geq \frac{4}{\sqrt{2(a^2+b^2)}}=\sqrt{2}\)

Do đó \(\frac{1}{P}\geq 1+\sqrt{2}\Leftrightarrow P\leq \sqrt{2}-1\)

Vậy \(P_{\max}=\sqrt{2}-1\Leftrightarrow (a,b)=(\sqrt{2},\sqrt{2})\)

bài này khó quá cậu thử cm a+b>=căn 8 xem

\(\frac{1}{2}\left(a+b\right)^2\le a^2+b^2=ab\left(a+b\right)+ab\le ab\left(a+b\right)+\frac{1}{4}\left(a+b\right)^2\)

\(\Rightarrow\frac{1}{2}\left(a+b\right)^2\le ab\left(a+b\right)+\frac{1}{4}\left(a+b\right)^2\)

\(\Rightarrow\frac{1}{4}\left(a+b\right)^2\le ab\left(a+b\right)\Rightarrow a+b\le4ab\)

\(\Rightarrow\frac{a+b}{ab}\le4\)

\(P=\frac{\sqrt{b\left(a+b\right)}}{ab}+\frac{\sqrt{a\left(a+b\right)}}{ab}=\frac{1}{2\sqrt{2}}\left(\frac{2\sqrt{2b\left(a+b\right)}+2\sqrt{2a\left(a+b\right)}}{ab}\right)\)

\(P\le\frac{1}{2\sqrt{2}}\left(\frac{2b+a+b+2a+a+b}{ab}\right)=\sqrt{2}\left(\frac{a+b}{ab}\right)\le4\sqrt{2}\)

\(P_{max}=4\sqrt{2}\) khi \(a=b=\frac{1}{2}\)

@Nguyễn Lê Phước Thịnh

Để ý: \(ab+bc+ca=\frac{\left[\left(a+b+c\right)^2-\left(a^2+b^2+c^2\right)\right]}{2}\).

Do đó đặt  \(a^2+b^2+c^2=x>0;a+b+c=y>0\). Bài toán được viết lại thành:

Cho \(y^2+5x=24\), tìm max:

\(P=\frac{x}{y}+\frac{y^2-x}{2}=\frac{5x}{5y}+\frac{y^2-x}{2}\)

\(=\frac{24-y^2}{5y}+\frac{y^2-\frac{24-y^2}{5}}{2}\)

\(=\frac{24-y^2}{5y}+\frac{3\left(y^2-4\right)}{5}\)\(=\frac{3y^3-y^2-12y+24}{5y}\)

Đặt \(y=t\). Dễ thấy \(12=3\left(a^2+b^2+c^2\right)+\left(ab+bc+ca\right)=3t^2-5\left(ab+bc+ca\right)\)

Và dễ dàng chứng minh \(ab+bc+ca\le3\)

Suy ra \(3t^2=12+5\left(ab+bc+ca\right)\le27\Rightarrow t\le3\). Mặt khác do a, b, c>0 do đó \(0< t\le3\).

Ta cần tìm Max P với \(P=\frac{3t^3-t^2-12t+24}{5t}\)và \(0< t\le3\)

Ta thấy khi t tăng thì P tăng. Do đó P đạt giá trị lớn nhất khi t lớn nhất.

Khi đó P = 3. Vậy...