Ответ:

a) (y^2 + 3y - 40)
Чтобы разложить квадратный трехчлен на множители, нужно найти его корни. Решаем квадратное уравнение (y^2 + 3y - 40 = 0).
Дискриминант (D = b^2 - 4ac = 3^2 - 4 \(\cdot\) 1 \(\cdot\) (-40) = 9 + 160 = 169).
Корни \(y_1 = \frac{-b + sqrt{D}}{2a} = \frac{-3 + sqrt{169}}{2 \cdot 1} = \frac{-3 + 13}{2} = \frac{10}{2} = 5\), \(y_2 = \frac{-b - sqrt{D}}{2a} = \frac{-3 - sqrt{169}}{2 \cdot 1} = \frac{-3 - 13}{2} = \frac{-16}{2} = -8\).
Разложение: ((y - 5)(y + 8)).

б) (9x^2 - 2x - 11)
Решаем квадратное уравнение (9x^2 - 2x - 11 = 0).
Дискриминант (D = b^2 - 4ac = (-2)^2 - 4 \(\cdot\) 9 \(\cdot\) (-11) = 4 + 396 = 400).
Корни \(x_1 = \frac{-b + sqrt{D}}{2a} = \frac{2 + sqrt{400}}{2 \cdot 9} = \frac{2 + 20}{18} = \frac{22}{18} = \frac{11}{9}\), \(x_2 = \frac{-b - sqrt{D}}{2a} = \frac{2 - sqrt{400}}{2 \cdot 9} = \frac{2 - 20}{18} = \frac{-18}{18} = -1\).
Разложение: (9\(x - \frac{11}{9}\)(x + 1) = (9x - 11)(x + 1)).

Ответ:
a) ((y - 5)(y + 8))
б) ((9x - 11)(x + 1))