ホワイトな会社に転職できて喜んでたんだけどブラックな部署に配属されてしまいました。

まだ４日なんですが試用期間中に退職して職歴に傷は残らないでしょうか？

それとも2年くらい耐えて部署異動もしくは退職すべきでしょうか？

人間関係は良好なので少なくとも1年は耐えられる自信はあります。