«НЕ СМОТРЯ» — это деепричастие с зависимым словом «по сторонам». Частица «НЕ» с деепричастиями пишется раздельно, если они имеют зависимые слова.
Ответ: Всадники, (НЕ)СМОТРЯ по сторонам, стремительно гнали к городу лошадей.