Ответ:

Раскроем квадрат разности:

\((\sqrt{11}-3)^2-6\sqrt{11}=11-6\sqrt{11}+9-6\sqrt{11}=20-12\sqrt{11}\).

Ответ: \(20-12\sqrt{11}\).