「ケンカ最強」がまことしやかにささやかれた人物（一説にはレスラーをしのぐ、とも）。
その面では腕に覚えあるマサ斎藤も一目置いており、G1クライマックスの優勝者予想を聞かれた斎藤が
「服部さん、六本木で喧嘩したらしいよ。強かったらしいよ」と答えたことがある。

1994年4月4日の橋本真也vs藤波辰爾の一戦のレフェリーを務め、橋本に攻められていた藤波がダウンした時、
リングサイドで様子を伺っていた馳が、執拗にカウントを要求したことが相当腹だったらしく、
馳に近づきリング上から2、3発蹴りを見舞った。