ガサガサの原因は
内張のリブカット不足
ドアインナーの鉄板から内張まで
クリアランスが20ミリ無いから
しっかりリブカットしないと
スピーカーエッジがリブと干渉して
ガサガサする
このくらいカットしないとダメ。
https://cartune.me/notes/9QF0eCdwkI
ただし、音量上げると
今度はインナーの鉄板がビビり出すので
デッドニング地獄が待っている
http://zeronagano.jugem.jp/?eid=7307#gsc.tab=0

まずは、内張外して異音がしないか確認