安室の怖い男のもう一人が赤井ってのは、作者のコメントやスピンオフでの描写合わせて考えると
実力で敵わない凄い奴って意味ではなく(安室の方が何でもできるらしいので)て、赤井を前にすると本来の自分を保てなくなるって意味での怖いってことだと思う
だから苦手(地雷に近い？)でもあるって事なんだろう

でもコナンは別に苦手じゃないらしいから、この場合銀パン2人が同じ意味で怖いって言ってるわけじゃないんだと思った