Мне кажется, это что-то вроде "хуже, чем если про вас говорят/сплетничают, только когда про вас ничего не говорят"