SSHもPersonal Access Tokenも一度設定したら二度と多要素認証いらなくね?

新しい鍵は設定できなくなるが
攻撃者にSSH鍵自体が盗まれたら意味なくね?