スカル団は元々はしまキングの集まりだったという発言もあるし
しまキングとしてそれなりに権力を持った人達(＝良い家に住める人達)があの町に住んでいたが
今のスカル団のような不良の集まりに変わっていく中でだんだん治安が悪くなり壁が作られたのかもしれない
または外部との接触を拒むためにスカル団自ら壁を作ったか