б) 5a(a + b) − (3a − b)b + 2b(b − a)

Раскроем скобки:

\(5a(a+b)-(3a-b)b+2b(b-a)=5a^2+5ab-3ab+b^2+2b^2-2ab\).

Соберём подобные слагаемые: смешанные слагаемые сокращаются, а \(b^2+2b^2=3b^2\).

Ответ: \(5a^2+3b^2\).