Но он же хотел сказать, что в одиннадцать часов вставать поздно и все об этом знают.

"Да, я и сам знаю, что поздно."
"Ну да, ну поздно..."

Ещё в хорошей русской речи лучше избегать слишком...