If you need passive voice, then:
"Я не хочу заразиться твоим пессимизмом" or "Я не хочу заразиться от тебя пессимизмом".
Also you could use participles, somthing like that: "Я не хочу быть заражённым твоим пессимизмом".

Я не хочу, чтоб ты заразил меня твоим пессимизмом!
It's absolutely correct, however there is no passive voice here. The word "ты" is subject and "ты" acts (infect) on "меня". It's active voice for "ты".