Проблема в том, что Вы плохо знакомы с вопросом и, по всей видимости, недостаточно глубоко овладели даже школьной трактовкой парадигмы русского языка, раз уж приводите такую "аргументацию".
"Кофе" относится к несклоняемым существительным среднего рода (по моему мнению). В той же степени, в какой относятся к этой группе, например, "какао" и "депо". Вряд ли Вы говорите "для депя", "к депю", "с депой". Так что если у Вас есть возражения получше, не премините воспользоваться случаем привести их.