Это явление связано с преломлением света в неоднородной среде.
У горящего костра воздух сильно нагрет. Теплый воздух менее плотный, чем холодный, и имеет другой показатель преломления. Над костром образуются слои воздуха разной температуры и плотности, которые постоянно перемешиваются.
Когда свет от предметов, находящихся за костром, проходит через эти слои воздуха, он испытывает многократное преломление. Лучи света постоянно отклоняются то в одну, то в другую сторону, как бы «колеблясь».
Наши глаза воспринимают эти отклонения как дрожание или колебание изображения предмета.
Вывод: Предметы кажутся колеблющимися из-за многократного преломления света в неоднородном (по температуре и плотности) воздухе над костром.