Да, лучше сказать что-то типа "Извините, но врач мне строго запретил употреблять алкоголь". И для России это действительно странно, когда мужчина вообще не пьёт алкогольных напитков. И вегетарианцы-мужчины (по крайней мере для меня) тоже непонятны. С женщинами обстоит по-другому конечно. У них полно заскоков, в том числе и вегетарианство и диеты и неупотребление алкоголя.