Привет! Лучше звучит - Не будем отрываться от коллектива...
Хотя и так можно сказать.
Да, ну. Отбиваться звучит так, как будто бы здесь стадо какое-то. Вариант с отрываться - гораздо лучше.