Обнаружена ошибка в условии задачи. В данном случае получается отрицательное значение для $$v^2$$, что невозможно для действительного числа. Проверим условие: «затратив на обратный путь на 3 часа меньше, чем на путь до пункта В». Вероятно, имелось в виду, что на путь до пункта В (по течению) затрачено на 3 часа меньше, чем на обратный путь (против течения).
Важно: Скорость катера должна быть больше скорости течения, то есть $$v > 2$$. Полученное значение $$v = 20$$ удовлетворяет этому условию.
Ответ: 20 км/ч