Có
P = 3x² - 4xy (1)
5 = x² + y² (2)
=>P + 5 = 3x² - 4xy + (x² + y²) = 4x² - 4xy + y² = (2x - y)² ≥ 0 ⇔ P ≥ - 5
Vậy GTNN của P = - 5 ⇔ 2x - y = 0 ⇔ y = 2x
Thay vào (2) : 5x² = 5 ⇔ x = - 1; y = - 2 và x = 1; y = 2
P - 20 = 3x² - 4xy - 4(x² + y²) = - x² - 4xy - 4y² = - (x + 2y)² ≤ 0
⇔ P ≤ 20
Vậy GTLN của P = 20 ⇔ x + 2y = 0 ⇔ x = - 2y
Thay vào (2) : 5y² = 5 ⇔ y = - 1; x =2 và y = 1; x = - 2