Ответ:

Используем формулу квадрата разности: \((u-v)^2=u^2-2uv+v^2\).

\[(5a-2b)^2=(5a)^2-2\cdot5a\cdot2b+(2b)^2=25a^2-20ab+4b^2.\]

Ответ: вариант 3, \(25a^2-20ab+4b^2\).