11) \((\sqrt{17}-3)^2+6\sqrt{17}\)

Раскроем квадрат разности: \((\sqrt{17}-3)^2=17-6\sqrt{17}+9\).

Сложим подобные слагаемые: \(17-6\sqrt{17}+9+6\sqrt{17}=26\).

Ответ: 26.