Это условие третьего типа (Third Conditional), которое описывает сожаление о прошлом, нереальное условие в прошлом и его результат в прошлом. Структура: If + Past Perfect, ... would have + past participle. Для глагола 'go' в Past Perfect это 'had gone'.
Ответ: had gone