Раскроем скобки в левой и правой части:
$$(-x-1)(x-4) = -x^2 + 4x - x + 4 = -x^2 + 3x + 4$$
$$x(4x-11) = 4x^2 - 11x$$
Тогда уравнение примет вид:
$$-x^2 + 3x + 4 = 4x^2 - 11x$$
Перенесем все в правую часть:
$$4x^2 + x^2 - 11x - 3x - 4 = 0$$
$$5x^2 - 14x - 4 = 0$$
Решим квадратное уравнение через дискриминант:
$$D = (-14)^2 - 4 * 5 * (-4) = 196 + 80 = 276$$
$$x_1 = \frac{-(-14) + \sqrt{276}}{2 * 5} = \frac{14 + \sqrt{276}}{10} = \frac{14 + 2\sqrt{69}}{10} = \frac{7 + \sqrt{69}}{5}$$
$$x_2 = \frac{-(-14) - \sqrt{276}}{2 * 5} = \frac{14 - \sqrt{276}}{10} = \frac{14 - 2\sqrt{69}}{10} = \frac{7 - \sqrt{69}}{5}$$
Ответ: $$x_1 = \frac{7 + \sqrt{69}}{5}$$, $$x_2 = \frac{7 - \sqrt{69}}{5}$$