"<что-то> - не <что-то>, а <ещё что-то>" значит "<ещё что-то> верно вне зависимости от того, верно <что-то> или нет"

В данном случае время уже пронеслось вне зависимости от того, будешь ли ты его догонять, или нет.