Lời giải:
$1=a+b+3ab\leq (a+b)+3.\frac{(a+b)^2}{4}$
$\Rightarrow a+b\geq \frac{2}{3}$
$\Rightarrow a^2+b^2\geq \frac{(a+b)^2}{2}=\frac{2}{9}$
\(p=\sqrt{1-a^2}+\sqrt{1-b^2}+\frac{1-(a+b)}{a+b}=\sqrt{1-a^2}+\sqrt{1-b^2}+\frac{1}{a+b}-1\)
\(\leq \sqrt{(1-a^2+1-b^2)(1+1)}+\frac{1}{\frac{2}{3}}-1=\sqrt{2(2-a^2-b^2)}+\frac{1}{2}\)
Mà \(2-a^2-b^2\leq 2-\frac{2}{9}=\frac{16}{9}\)
Do đó:
\(P\leq \sqrt{\frac{32}{9}}+\frac{1}{2}=\frac{3+8\sqrt{2}}{6}\) và đây chính là giá trị max.