…со своим секретарём.
…моему секретарю.

There are three(?) types of such nouns in Russian.

Type: 1 2 3
Adjective / possessive pronoun agreement: by biological sex by grammatic gender by grammatic gender
Verb agreement: by biological sex by biological sex or grammatic gender by grammatic gender
Personal pronoun agreement: by biological sex by biological sex by biological sex
______________________

Example of type 1:
Male Female
Adjective / possessive pronoun круглый сирота круглая сирота
Verb там жил сирота. там жила сирота.
Personal pronoun он сирота. она сирота.

Example of type 2:
Male Female
Adjective / possessive pronoun наш врач наш врач
Verb врач сделал укол. врач сделал(а) укол.
Personal pronoun он врач. она врач.

Example of type 3:
Male Female
Adjective / possessive pronoun хорошая собака хорошая собака
Verb собака лежала. собака лежала.
Personal pronoun он — хорошая собака. она — хорошая собака.

______________________

Секретарь is type 2.