Чтобы найти многочлен, который нужно вычесть, перенесем известные члены в правую часть уравнения:
$$(5x^2 - 3xy - y^2) - (*) = x^2 + 3xy$$
$$- (*) = x^2 + 3xy - (5x^2 - 3xy - y^2)$$
$$- (*) = x^2 + 3xy - 5x^2 + 3xy + y^2$$
$$- (*) = -4x^2 + 6xy + y^2$$
Умножим обе части на -1:
$$(*) = 4x^2 - 6xy - y^2$$
Ответ: $$4x^2 - 6xy - y^2$$