思いっきり簡単にいくなら100均で丸棒ヤスリ買ってきて
バリのところを45度くらいに角度つけてコシコシ。

もう少し丁寧に行くなら、穴の径よりでかいドリルで、手動でも良いからコリコリ。