Преобразуем выражение:
$$5x^2y^2 - 5x \cdot 3xy - x^2y + 6xy^2 = 5x^2y^2 - 15x^2y - x^2y + 6xy^2 = 5x^2y^2 - 16x^2y + 6xy^2$$
Ответ: 5x²y² - 16x²y + 6xy²