Ответ:

а) Введём новые переменные: \(A=a^2+b^2\), \(B=ab\).

Тогда выражение имеет вид:

\[(A-5B)(A-B)-A(A-6B).\]

Раскроем скобки:

\[A^2-6AB+5B^2-A^2+6AB=5B^2.\]

Возвращаемся к исходным переменным:

\[5B^2=5a^2b^2.\]

б) Введём новые переменные: \(A=x^2+y^2+p^2\), \(B=pxy\).

Получаем:

\[(A-4B)(A+3B)-A(A-B).\]

Раскроем скобки:

\[A^2-AB-12B^2-A^2+AB=-12B^2.\]

Возвращаемся к исходным переменным:

\[-12B^2=-12p^2x^2y^2.\]

Ответ: а) \(5a^2b^2\); б) \(-12p^2x^2y^2\).