Все думали, что ты учишься в Брауне....

To go to Brown (Princeton, Harvard etc) значит учиться в Брауне и так далее. Скорее всего, здесь имеется в виду именно это.