Ответ:

а) Раскроем квадрат разности:

\((4a-7b)^2=16a^2-56ab+49b^2\).

Тогда \(16a^2-(16a^2-56ab+49b^2)+49b^2+12=56ab+12\).

Подставим \(ab=-2\): \(56\cdot(-2)+12=-112+12=-100\).

б) Раскроем квадрат разности:

\((5a-6b)^2=25a^2-60ab+36b^2\).

Тогда \(25a^2-60ab+36b^2-25a^2-36b^2+80=-60ab+80\).

Подставим \(ab=-3\): \(-60\cdot(-3)+80=180+80=260\).

Ответ: а) \(-100\); б) \(260\).