Поскольку действие произошло в прошлом (yesterday), выбираем прошедшую форму глагола "forget" - "forgot".
Ответ: Sorry, I forgot to call you yesterday.