こっちが怒ると、シャレの通じないノリの悪い奴あつかいされる。

「貴方に悪気は無いとしても、度を超えていて、これ以上は我慢できない。
　みんなで仲良くしたいから言いたくはないけど、これ以上そっちが言うなら
上司にも相談させてもらうし場合によってはハラスメントとして問題提起させてもらう」

くらい言ってみればよい。