Это внешнее выражение радости.
I think it's more like the process of visibly expressing your радость.
Радоваться можно и "внутренне", "про себя", "в душе", не выражая при этом радости внешне.

Кстати, rejoice, по-моему, хорошо соответствует русскому "возрадоваться" -- тоже слово архаичное и часто употребляется в религиозном контексте.