Another way to say that:
Со временем мы с ней стали общаться всё реже и реже и естественно отдалились друг от друга.