Ответ:

Неизвестный многочлен равен разности левой части без него и правой части:

\((5x^2-3xy-y^2)-(x^2+3xy)=5x^2-3xy-y^2-x^2-3xy\).

Приведём подобные слагаемые: \(4x^2-6xy-y^2\).

Ответ: \(4x^2-6xy-y^2\).