ぶっちゃけ後付けで設定ブレてるだけだと思うけどフォローするなら
柱間とマダラの力が全く伝承されなかったように歴史に残らなかった万華鏡到達者が無数に居たのでは
もしくはフガクの言ってた数人しかいないってのがサスケに嘘ついてただけか