11. 5 3/(√x-1) - cos² 3x.

Для нахождения первообразной функции 3/(√(x-1)) - cos² 3x, необходимо проинтегрировать данную функцию.

Первообразная F(x) = ∫(3/√(x-1) - cos² 3x) dx = 3∫1/√(x-1) dx - ∫cos² 3x dx

Для первого интеграла используем замену u = x - 1, du = dx: 3∫1/√u du = 3∫u^(-1/2) du = 3 * (u^(1/2) / (1/2)) = 6√u = 6√(x-1).

Для второго интеграла используем формулу cos²(x) = (1 + cos(2x)) / 2. ∫cos² 3x dx = ∫(1 + cos(6x)) / 2 dx = (1/2) ∫(1 + cos(6x)) dx = (1/2) (∫1 dx + ∫cos(6x) dx) = (1/2) (x + (1/6) sin(6x)) = x/2 + (1/12) sin(6x)

Следовательно, F(x) = 6√(x-1) - (x/2 + (1/12) sin(6x)) + C

Ответ: F(x) = 6√(x-1) - x/2 - (1/12) sin(6x) + C