Несмотря на то, что пол и возраст собеседника имеют большое значение, решающую роль играют взаимоотношения между людьми. Сформулировать чёткие правила использование обращений невозможно. Попробуйте объяснить в каких случаях следует говорить "sir", "ma'am", а в каких обращаться по имени.