https://docs.oracle.com/javase/jp/7/api/java/lang/System.html#exit(int)
にあるように、システムを落とす命令。
後始末なんか一切しない。

プログラムは終わってほしいけど、VMは終わってほしくない場合や、システムが落ちる前にファイル開放するなんて処理があったときに大惨事起こるよね。