По мне - всё едино: переживать, расстраиваться, огорчаться, нервничать, досадовать, - все они в конце концов означают "терять покой".

Единственно, что вместо "я досадую" надо говорить "мне досадно".
В то же время, выражение "не надо так досадовать" абсолютно законно, хотя не слишком распространено.