4) \(\begin{cases}x^2-6xy+y^2=8,\\3xy=21.\end{cases}\)

Из второго уравнения \(xy=7\). Обозначим \(s=x+y\). Тогда \(x^2-6xy+y^2=(x+y)^2-8xy\).

1. Подставим произведение: \(s^2-8\cdot7=8\), значит, \(s^2=64\) и \(s=8\) или \(s=-8\).

2. При \(s=8\) уравнение для чисел \(x,y\): \(t^2-8t+7=0\). Его корни — 1 и 7.

3. При \(s=-8\): \(t^2+8t+7=0\). Его корни — −1 и −7.

Ответ: \((x,y)=(1,7),(7,1),(-1,-7)\) или \((-7,-1)\).