5. xy^3 + 5x^2y^2 - 3x^2y

Общий множитель для всех трёх слагаемых \(xy\). Выносим его за скобки:

\( xy^3 + 5x^2y^2 - 3x^2y = xy(y^2 + 5xy - 3x) \)

Ответ: \(xy(y^2 + 5xy - 3x)\)