Ответ:

Раскроем скобки: \(f(x)=x^{7/2}-21x^{3/2}\), область определения: \(x\ge0\).

\(f'(x)=\frac72x^{5/2}-\frac{63}{2}x^{1/2}=\frac72\sqrt{x}(x^2-9)\).

При \(x\ge0\) производная отрицательна, когда \(x^2-9<0\), то есть \(0

Ответ: \(x\in(0,3)\).