Вообще-то так не говорят. Это как бы шутка. Например, по аналогии с: - Вам здесь не холодно? - Мне не холодно или Мне не бывает холодно. У меня кровь горячая. Или неправильный вариант ответа: - Мне никогда не холодно.
Правильно было бы сказать, например: Со мной такого не бывает, я всегда легко засыпаю.