Союз 'while' указывает на одновременность действий в прошлом. Действие, которое было прервано (потерял нож), обычно ставится в Past Simple, а длительное фоновое действие — в Past Continuous.
Правильный вариант — was picking.
Ответ: He lost his knife while he was picking mushrooms.