IIRフィルターにおいては位相は周波数に依って回りますよ
しかも車の様な環境では左右で特性を合わせるのは極めて困難なので、聴いた感じで気にならなければそれで良いと思いますけど？