Выпить чаю - если не весь, а например глоток сделать. (Посидели и выпили чаю).
Выпить чай - если весь. (Пришел и выпил чай, стоящий на столе)
Ну да, правильно. Хотя в случае, если на столе стоит три чашки налитого чая, то вам скажут "выпей чай", имея ввиду чай, налитый для тебя, твою чашку чая, т.е. какой-то ОПРЕДЕЛЕННЫЙ, понятный из контекста объем чая.