ていうか、そういう思考である以上、アーリーリタイアとか向いてないよ。
周りが反対しようが何言おうが、自分で判断して動けなければ、投資は成功しないし、運良く成功しても、リタイアできない。