Ответ:

Положим s = x + y и t = xy. Тогда 0 ≤ s ≤ 1 и 0 ≤ t ≤ s²/4, поскольку (x − y)² ≥ 0.

Преобразуем левую часть:

x² + 8x²y² + y² = s² − 2t + 8t².

При фиксированном s это выпуклая функция t, поэтому на отрезке 0 ≤ t ≤ s²/4 её максимум достигается на одном из концов. При t = 0 значение равно s² ≤ 1. При t = s²/4 значение равно s²/2 + s⁴/2 ≤ 1, так как s ≤ 1.

Следовательно, x² + 8x²y² + y² ≤ 1.