Грамматически глагол «отступить/отступать» тесно связан не с рассказчиком, а со временем. «Время отступать» — это характеристика момента и ситуации. «Время отступать» означает, что сейчас благоприятное время для того, чтобы осуществить вообще любые отступления, в том числе и какое-то одно, конкретное отступление («время отступить»).

Абсолютно эквиваленты (оттенки смыслов не играют существенной роли) фразы
«Время обедать» и «Время пообедать»
«Время читать» и «Время почитать»
«Не время умирать» и «Не время, чтобы умереть».

Кстати, в русском языке глаголы несовершенного вида используются для обозначения инфинитива, как глаголы с “to” — в английском.
«Время [чтобы] идти» — It’s time to go.