Lời giải:
Đặt $\sqrt{y+2}=a; \sqrt{3x+3}=b(a,b>0)$
Theo bài ra ta có: \(\frac{a^2}{b^2}=\frac{b+2}{a+2}\Rightarrow a^3+2a^2=b^3+2b^2\)
\(\Leftrightarrow (a^3-b^3)+2(a^2-b^2)=0\)
\(\Leftrightarrow (a-b)(a^2+ab+b^2+2a+2b)=0\)
Vì $a,b>0$ nên $a^2+ab+b^2+2a+2b>0$
Do đó: $a-b=0\Rightarrow a=b\Rightarrow a^2=b^2\Leftrightarrow y=3x+1$
Thay vào biểu thức:
$Q=x^2+(3x+1)^2-3(3x+1)-2x-3$
$=10x^2-5x-5=10(x^2-\frac{1}{2}x+\frac{1}{4^2})-\frac{45}{8}$
$=10(x-\frac{1}{4})^2-\frac{45}{8}\geq \frac{-45}{8}$
Vậy GTNN của $Q$ là $\frac{-45}{8}$ khi $x=\frac{1}{4}$ và $y=\frac{7}{4}$