Ответ:

Раскроем скобки и приведём подобные слагаемые:

\(4x^2(5y+3)-17x^2y-3y^2=20x^2y+12x^2-17x^2y-3y^2\).

\(20x^2y-17x^2y=3x^2y\).

Ответ: \(3x^2y+12x^2-3y^2\).