It will be: Извините, но я не могу навестить вас/ тебя, но желаю вам скорейшего выздоровления.