Упростим выражение: \[у(5у+2х)-(х+у)^2=5у^2+2ху-(х^2+2ху+у^2)=4у^2-х^2.\]
Подставим значения: \[4(\sqrt3)^2-(\sqrt{11})^2=4\cdot3-11=12-11=1.\]
Ответ: \(1\).