Действие произошло в определенное время в прошлом ('yesterday'), поэтому требуется Past Simple. Для 3-го лица единственного числа ('He') в Past Simple используется форма 'gave'.
Правильный вариант — gave.
Ответ: He gave me the book yesterday.