Ответ:

1) Выражение уже является многочленом:

\(\frac13a^2b-b^2\).

2) Используем формулу квадрата суммы \((u+v)^2=u^2+2uv+v^2\):

\((5a+6b)^2=(5a)^2+2\cdot5a\cdot6b+(6b)^2=25a^2+60ab+36b^2\).

Ответ: 1) \(\frac13a^2b-b^2\); 2) \(25a^2+60ab+36b^2\).