Не всегда.
1. Пушкин в 19-ом веке употреблял это слово без презрения.
2. Сейчас у этого слова есть ещё одно значение: скряга. Так могут назвать человека любой национальности.
3. В старину слово жидовин (жид) означало только национальность. Пример: Жидовские ворота на Украине.