Наверно можно сказать и на берегу́/по берегу, да?

— Мы гуляли на берегу Невы, смотрели, как разводятся мосты.
— Мы гуляли по берегу Невы, смотрели, как разводятся мосты.