Ответ:

а)

Раскроем скобки:

\(16a^2-(4a-7b)^2+49b^2+12=16a^2-(16a^2-56ab+49b^2)+49b^2+12=56ab+12\).

Подставим \(ab=-2\): \(56\cdot(-2)+12=-112+12=-100\).

б)

\((5a-6b)^2-25a^2-36b^2+80=25a^2-60ab+36b^2-25a^2-36b^2+80=-60ab+80\).

Подставим \(ab=-3\): \(-60\cdot(-3)+80=180+80=260\).

Ответ: а) −100; б) 260.