Раскроем скобки:
4x² + 6xy - (x² + 2xy + y²) = 4x² + 6xy - x² - 2xy - y²
Приведем подобные слагаемые:
3x² + 4xy - y²