Ответ:

Раскрываем скобки, используя формулу разности квадратов:

\(a(a+5b)-(a+b)(a-b)=a^2+5ab-(a^2-b^2)\).

Приводим подобные слагаемые: \(a^2+5ab-a^2+b^2=5ab+b^2\).

Ответ: \(5ab+b^2\).