別に残業しなきゃいいんじゃないの？
それでとやかく言われて鬱陶しいんだったら辞めればいいだけの話だし。