源泉徴収票を翌年1月31日までに渡さない場合(年の中途で退職した場合は退職後1ヶ月以内)も所得税法違反で、
1年以下の懲役か50万円以下の罰金。

所得税法
第二百二十六条 　居住者に対し国内において第二十八条第一項（給与所得）に規定する給与等
（第百八十四条（源泉徴収を要しない給与等の支払者）の規定によりその所得税を徴収して納付することを要しない
ものとされる給与等を除く。以下この章において「給与等」という。）の支払をする者は、財務省令で定めるところにより、
その年において支払の確定した給与等について、その給与等の支払を受ける者の各人別に源泉徴収票二通を作成し、その年の翌年一月三十一日まで（年の中途において退職した居住者については、
その退職の日以後一月以内）に、一通を税務署長に提出し、他の一通を給与等の支払を受ける者に交付しなければならない。
ただし、財務省令で定めるところにより当該税務署長の承認を受けた場合は、この限りでない。(第2項以下は退職金・年金等についての規定なので略)

第二百四十二条 　次の各号のいずれかに該当する者は、一年以下の懲役又は五十万円以下の罰金に処する。
ただし、第三号の規定に該当する者が同号に規定する所得税について第二百四十条（源泉徴収に係る所得税を納付しない罪）の規定に該当するに至つたときは、同条の例による。
六 　第二百二十五条第二項に規定する通知書若しくは第二百二十六条第一項から第三項までに規定する源泉徴収票をこれらの書類の交付の期限までにこれらの規定に規定する支払を受ける者に交付せず、
若しくはこれらの書類に偽りの記載をして当該支払を受ける者に交付した者
又は第二百二十五条第三項若しくは第二百二十六条第四項の規定による電磁的方法により偽りの事項を提供した者