им = комплиментом. It used here to avoid a tautology.
"Комплимент говорится с улыбкой, как бы в шутку, чтобы не смутить им/комплиментом того, кому он предначен."
You can also omit these both...