You cannnot change word's order because it will sound like he invited himself.
You could use к "себе": Губернатор сделал приглашение пожаловать к себе того же дня.
But still "к нему" will be...