年式・保管状態・整備もあると思うけど、ステムベアリングが死んでる、もしくは隙間がある。
ベアリング異常ならグリスアップは応急処置で、交換するしかない、隙間ならどっかの動画見て組み直す。
他にネジの弛みがないか、フォークのクラック、スポーク折れ。そもそも異常を感じ、自身で解決出来ないなら自転車屋に行こうね。ここで無責任な解決策を聞くものではない、命の値段と思えば安いものだろう。