Ответ:

Причастный оборот «служившего предметом их поездки» стоит после определяемого слова «места», поэтому перед ним ставится запятая.

Через три дни после этого они были уже недалеко от места, служившего предметом их поездки.

Графически: места ← (служившего предметом их поездки).