Используем формулу квадрата разности: $$(x-y)^2 = x^2 - 2xy + y^2$$
В нашем случае $$x=a$$ и $$y=5b$$:
Ответ: $$a^2 - 10ab + 25b^2$$