Ta có:\(3x^2-4xy+3y^2=25\)
\(\Leftrightarrow2x^2-4xy+2y^2+x^2+y^2=25\)
\(\Leftrightarrow2\left(x-y\right)^2+x^2+y^2=25\Leftrightarrow x^2+y^2=25-2\left(x-y\right)^2\le25\)
\(\Rightarrow\)GTLN của P là 25 đạt được khi x=y\(\Rightarrow3x^2-4x^2+3x^2=25\Rightarrow2x^2=25\Rightarrow x=\frac{5}{\sqrt{2}}=y\)
Lại có:\(3x^2-4xy+3y^2=25\Leftrightarrow3\left(x^2+y^2\right)=25+4xy\)
\(\Leftrightarrow3\left(x^2+y^2\right)+2\left(x^2+y^2\right)=25+2x^2+4xy+2y^2\)
\(\Leftrightarrow5\left(x^2+y^2\right)=25+2\left(x+y\right)^2\ge25\)
\(\Rightarrow x^2+y^2\ge5\)
\(\Rightarrow\)GTNN của P là 5 đạt được khi \(x=-y\Rightarrow3x^2+4x^2+3x^2=25\Rightarrow10x^2=25\Rightarrow x^2=\frac{5}{2}\Rightarrow x=\sqrt{\frac{5}{2}}\)
\(\Rightarrow y=-\sqrt{\frac{5}{2}}\)