a) $$(3m-7n)^2 - 9m(m-5n) = 9m^2 - 42mn + 49n^2 - 9m^2 + 45mn = 3mn + 49n^2$$
б) Здесь, кажется, пропущен знак "+" между слагаемыми в первом квадрате. Исправлю на $$(6a+3b)^2 + (9a+2b)^2$$.
$$(6a+3b)^2 + (9a+2b)^2 = 36a^2 + 36ab + 9b^2 + 81a^2 + 36ab + 4b^2 = 117a^2 + 72ab + 13b^2$$
в) $$b(b-3) - (b-4)^2 = b^2 - 3b - (b^2 - 8b + 16) = b^2 - 3b - b^2 + 8b - 16 = 5b - 16$$