Краткое пояснение: После didn't используется глагол в начальной форме (инфинитив).
В английском языке после вспомогательного глагола did в отрицательной форме (didn't) используется основной глагол в начальной форме (инфинитив) без частицы to.
В данном предложении правильный вариант - глагол go.