a) Упростим выражение: $$(a^2 + b^2 - 5ab)(a^2 + b^2 - ab) - (a^2 + b^2)(a^2 + b^2 - 6ab)$$
Введем новые переменные: $$x = a^2 + b^2$$, $$y = ab$$. Тогда выражение примет вид:
$$(x - 5y)(x - y) - x(x - 6y) = x^2 - xy - 5xy + 5y^2 - x^2 + 6xy = x^2 - 6xy + 5y^2 - x^2 + 6xy = 5y^2$$
Вернемся к исходным переменным: $$5(ab)^2 = 5a^2b^2$$
б) Упростим выражение: $$(x^2 + y^2 + p^2 - 4pxy)(x^2 + y^2 + p^2 + 3pxy) - (x^2 + y^2 + p^2)(x^2 + y^2 + p^2 - pxy)$$
Введем новые переменные: $$u = x^2 + y^2 + p^2$$, $$v = pxy$$. Тогда выражение примет вид:
$$(u - 4v)(u + 3v) - u(u - v) = u^2 + 3uv - 4uv - 12v^2 - u^2 + uv = u^2 - uv - 12v^2 - u^2 + uv = -12v^2$$
Вернемся к исходным переменным: $$-12(pxy)^2 = -12p^2x^2y^2$$
Ответ: a) $$5a^2b^2$$, б) $$-12p^2x^2y^2$$