Для решения этой задачи составим уравнение.
Пусть x - количество обезьян.
Квадрат пятой части обезьян: $$\left(\frac{x}{5}\right)^2$$ Уменьшенное на три: $$\left(\frac{x}{5}\right)^2 - 3$$ Одна обезьяна на дереве.
Спрятались в гроте + 1 на дереве = всего обезьян:
$$\left(\frac{x}{5}\right)^2 - 3 + 1 = x$$
$$\frac{x^2}{25} - 2 = x$$
$$x^2 - 50 = 25x$$
$$x^2 - 25x - 50 = 0$$
Решим квадратное уравнение: $$
ewline$$
$$D = b^2 - 4ac = (-25)^2 - 4 \cdot 1 \cdot (-50) = 625 + 200 = 825$$
$$x_1 = \frac{-b + \sqrt{D}}{2a} = \frac{25 + \sqrt{825}}{2} = \frac{25 + 5\sqrt{33}}{2} ≈ 27.19$$
$$x_2 = \frac{-b - \sqrt{D}}{2a} = \frac{25 - \sqrt{825}}{2} = \frac{25 - 5\sqrt{33}}{2} ≈ -2.19$$
Так как количество обезьян не может быть отрицательным и должно быть целым числом, можно предположить, что в условии задачи есть небольшая неточность, и квадрат пятой части обезьян уменьшили не на три, а на другое число, тогда получается целое число.
Попробуем решить задачу, если «уменьшили на 0»:
$$\left(\frac{x}{5}\right)^2 + 1 = x$$
$$\frac{x^2}{25} + 1 = x$$
$$x^2 + 25 = 25x$$
$$x^2 - 25x + 25 = 0$$
$$D = (-25)^2 - 4 \cdot 1 \cdot 25 = 625 - 100 = 525$$
$$x_1 = \frac{25 + \sqrt{525}}{2} = \frac{25 + 5\sqrt{21}}{2} ≈ 23.97$$
$$x_2 = \frac{25 - \sqrt{525}}{2} = \frac{25 - 5\sqrt{21}}{2} ≈ 1.03$$
Рассмотрим вариант, если в гроте спрятался квадрат пятой части всех обезьян, а еще одна обезьяна на дереве:
$$\left(\frac{x}{5}\right)^2 + 1 = x$$
Предположим, что $$\left(\frac{x}{5}\right)^2$$ - целое число, значит, x должно делиться на 5. Подставим x = 25:
$$\left(\frac{25}{5}\right)^2 + 1 = 25$$
$$25 + 1 = 25$$ - неверно.
Эта задача не имеет решения в целых числах.
Однако, в старинных задачах иногда бывают неточности в формулировках.
Если предположить, что квадрат от (общее количество обезьян минус одна обезьяна на дереве, деленное на 5) равняется четырем обезьянам, которые спрятались в гроте, то:
$$\left(\frac{x-1}{5}\right)^2 = 4$$
$$\frac{x-1}{5} = 2$$
$$x - 1 = 10$$
$$x = 11$$
Тогда в гроте 4 обезьяны, на дереве 1, и всего 11 обезьян.
Ответ: 11