課税額に達してなければ、仮に連絡が来ても問題ないと思うんです
(自分のケースではお尋ねしたいことがあると電話連絡があっていきなり家に来ました)

入手したときと売却のときの領収書が対で存在してれば、通算で何グラム売却しようが(例えば20万円の利益があっても)説明責任が果たせるからそんなに気まずい空気にはならないです
(ただ、なぜ報告義務を怠ったのかをこっぴどく怒られますが)

入手時の領収書なし(例えば戴き物や贈与など)で、100グラムサクッと売却してしまったら利益はうん10万になるのでその場合は自分も疑問ではあります