P.S.
Also you can eliminate ambiguity in original phrase by not to shorten it completely:
Моя работа не заключается в том, чтобы говорить с клиентами. ->
Моя работа не в том, чтобы говорить с клиентами. stop here