Опустить "вы" вполне нормально, если это продолжение разговора и "вы" уже употреблялось (неоднократно).

- Вы учитесь или работаете?
- Учусь в институте.
- На каком курсе учитесь?
- На третьем.

В общем, грамматически в таком предложении все правильно, но есть стилистические особенности.

- В каком полку служили?

Такой стиль еще подходит и для обращения к младшему или подчиненному, к которому "вы" употреблять не хочется, а "ты" звучит грубо.