ポケファミの充電池の関係もあるかも
十分充電してみるとか、ACアダプターに繋げながらやるとかしてみたら
それで消えないなら、そこら辺じゃないｋな

汚れだと思うならアルコールや接点復活剤で端子を掃除しましょう
バックアップ電池なら交換は頑張ればできる

http://nozomi.2ch.net/test/read.cgi/gameurawaza/1360916694/