JR東日本のサイトには
「※女性専用車は、小学生以下の男の子、お身体の不自由な方とその介助者の男性にもご利用いただけます。」
とあるんだから問題ない