Ответ:

Раскроем квадрат разности и разность квадратов:

\[ (2a-3b)^2-(a+b)(a-b)=4a^2-12ab+9b^2-(a^2-b^2). \]

Раскроем скобки и приведём подобные слагаемые:

\[4a^2-12ab+9b^2-a^2+b^2=3a^2-12ab+10b^2.\]

Ответ: \(3a^2-12ab+10b^2\).