The way to say it:

(Мне так) жаль, что я потерял связь с тобой. Here связь - accusative, с тобой - instrumental.