日本では結婚って法律で保証された関係なんだよ
それを逸脱した不貞行為はれっきとした犯罪
あなたの言い分は「飲酒運転したっていいじゃーん。
別にそんな酔ってないし私は事故起こさないし」ってのと同じだと思う
順法精神のない人には理解できないかもしれないけど、
そもそもが法律違反だから、大半の人は守ろうとするし違反したら非難されるわけ

裁判沙汰にだってできるよ
やらないのは日本人が裁判避けたがる気質な人が多いのと、
面倒で時間＆お金がかかるから避けてるだけ