許可のある普通車両と、外部利用者の軽車両を「あっちはこうで、こっちはこう」というのを分けずに
『いや、同じだから徐行とか意味不明』とするから議論になるのではないでしょうか？
同じだから20kmは当たり前にいけるだろ？ってことにしたいんですよね？
分けなきゃ良いんですよね？

そうしましょうよ。
軽車両も許可制にして、いや、自ら率先して『20km以下で走ります』とゼッケンや表札をブラ下げて走りましょうよ。形から入る。そして行く行くは「分けずに許可制」にしていこうではありませんか。
許可なしでは走れない。全くの同じになって、誰も文句言わないし、言わせませんよね？