Ответ:

При примыкании зависимое неизменяемое слово связано с главным по смыслу. В словосочетании «вернуться поздно» зависимое наречие «поздно» не изменяется и относится к глаголу «вернуться».

Ответ: вернуться поздно.