根も葉もないは間違えたというよりも悪意があってまたは責任持たずに軽くやっちゃってる行為に対して他人が言うイメージだな
自分の行為について使うと悪意的な人がなぜ謝るのかというちぐはぐさが出る