Для образования вопросов в прошедшем времени (Past Simple) используется вспомогательный глагол did. Он ставится перед подлежащим. Сказуемое ставится в инфинитивной форме без частицы to.
В данном случае, предложение "Where ... he go yesterday?" является вопросом в прошедшем времени.