496さんのレスで、気付かされました。
別に彼は先に帰ることを怒ったりはしない。だから私が勝手に待ってて、勝手に怒ったり悲しんだりしているだけですね。

一緒に帰るのは職場が近いから、家も近いから、何より彼と一緒にいるのが楽しいから。
必要性と言われれば、それは確かにない。
でも出来るだけ一緒に帰りたいっていうのは彼の要望でもある。今日もそうだった。だから、待たなきゃいけないかなって思ってしまっていた。
待つことに不満があるのはきっと、戯れ言でも結婚したいって話から実際に此処まで話が進むまで4年くらい待たされたからかも。
それは全て彼の仕事の関係で。
その頃は非正規雇用で夢（中学生のころからやりたかった仕事）のために頑張っていたから。医療関係の堅実な仕事なのですが、中小企業でワンマンでブラック企業なのもあり、正社員から非正規（パート扱い）にされてしまい…
それでは結婚させられない、（私）さんに失礼だ、と彼のご両親が仰ってズルズルと…
今の会社に転職してまだ一年にも満たないので、先輩方に少々無理を言われるようで、私もそこを理解しつつも、待たされることには異様な拒絶反応を見せてしまった次第です。

長文になりましてすみません。