みなさん、ありがとうございます。
確かにずれるのは脱着時のみです。次の脱着時までは狂いなしだと思います。
ねじが緩んでないかとのことですが、ダイレクトマウントなんで両方緩んでないとズレなさそうな気もします。実際ガタツキはありません。

次装着するときはタイヤを地面に押し付けながらやってみます。
リムとフレーム/フォークとの距離ってどこですか？進行方向に対して左右ですかね。そこがずれてるのは乗るのちょっとこわいですね。