巴が死ぬ前日の会話の感じだとまだ家捨ててないでしょ
ていうかあの時点では捨てる理由がないし
巴の死後に同じように京都探し回って娘の死と息子の失踪を知って家捨てたって流れでしょ