すみません相談です。結婚10年子供無し
来週から1週間パートを休んで主人の出張に同行するのですが職場から非難されています

職場(全員主婦)から、たかが１週間なのにばかみたい新婚でもないのに気持ち悪い一緒に行く意味が分からない！！夫が仕事の昼間1人で何するの？まさか観光？1人で？変な人！！！
と数人に言われました
宿泊ホテルは別部屋、食事も交通費も全て別々にするつもりです。向こうは経費なので当たり前ですが。
何が悪いのか正直分かりませんし今までも3日以上の出張はそうしてきました(専業主婦の頃)
距離は千葉→名古屋です。一緒に過ごしたいというのはそんなにおかしいですか？
非難する方にどう対応したらよいでしょうか。