Составим систему уравнений:
$$\begin{cases} x + y = 35 \\ x + 5 = 2(y - 5) \end{cases}$$
Из первого уравнения выразим x: $$x = 35 - y$$
Подставим это выражение во второе уравнение:
$$(35 - y) + 5 = 2(y - 5)$$
$$40 - y = 2y - 10$$
$$3y = 50$$
$$y = \frac{50}{3} = 16\frac{2}{3}$$
Так как количество книг должно быть целым числом, в условии задачи, вероятно, есть опечатка. Однако, если бы не было условия, что всего книг 35, задача бы решалась. Допустим, что изначально всего было неизвестное количество книг.
Пусть $$x$$ - количество книг на первой полке, $$y$$ - количество книг на второй полке. После перестановки 5 книг со второй полки на первую, на первой полке станет $$x + 5$$ книг, а на второй $$y - 5$$ книг. По условию, на первой полке станет в два раза больше книг, чем на второй. Значит,
$$x + 5 = 2(y - 5)$$
$$x + 5 = 2y - 10$$
$$x = 2y - 15$$
Если бы, к примеру, на второй полке было 15 книг ($$y = 15$$), то на первой полке было бы:
$$x = 2 * 15 - 15 = 15$$
То есть, на обеих полках было бы по 15 книг. А всего 30 книг.
Если всего 35 книг, то решение не будет целым числом.