中国に限らず世界中のたいていの遺跡は、「ちょうどいい石が転がってる便利な場所」扱いだよ。
日本だって古墳の石室はそうやってバラされて来てる。戦国時代に砦に流用されて破壊された古墳も沢山ある。