В данном случае после глагола 'forget' используется герундий (глагол с окончанием -ing), который обозначает действие, которое не будет забыто. Фраза 'forget visiting' означает 'не забыть, как посещал'.
Visiting — герундий, подходит по грамматике.
To visit — инфинитив, не подходит после 'forget' в данном контексте.
Visit — инфинитив без 'to' или форма глагола, не подходит.