Решение:
5x2 + 3xy - y2 - (*) = x2 + 3xy - y2
(*) = 5x2 + 3xy - y2 - (x2 + 3xy - y2) = 5x2 + 3xy - y2 - x2 - 3xy + y2 = (5x2 - x2) + (3xy - 3xy) + (-y2 + y2) = 4x2
Ответ: 4x2