これは勘だけど
その食事のときに何かあなたに対して
その人にとって大事な話をする予定だったんだと思う
予定が狂ったんで不快な顔をされたんだと
そうでもないと貴方の言い分はそこまでおかしな主張ではないと思うし