Ответ:

Обозначим искомый многочлен через \(P\). Из равенства \((5x^2-3xy-y^2)-P=x^2+3xy\) получаем:

\(P=(5x^2-3xy-y^2)-(x^2+3xy)\).

Раскроем скобки и приведём подобные слагаемые: \(P=5x^2-3xy-y^2-x^2-3xy=4x^2-6xy-y^2\).

Ответ: \(4x^2-6xy-y^2\).