Ответ:

Раскроем скобки: \(5a(a+2b)=5a^2+10ab\), а \((b+2a)^2=4a^2+4ab+b^2\).

Умножим квадрат на 4 и вычтем: \(5a^2+10ab-16a^2-16ab-4b^2=-11a^2-6ab-4b^2\).

Ответ: В) \(-11a^2-6ab-4b^2\).