В данном предложении «отступать» является частью составного глагольного сказуемого, выраженной инфинитивом, и дополняет смысл глагола «слышали».
Ответ: часть составного глагольного сказуемого