Здесь нужно использовать Past Perfect Continuous, чтобы показать, что действие (John trying) длилось в течение определенного времени до другого действия в прошлом (he decided).
Ответ: had been trying