自分の職場の上司の態度について疑問に思うことがあります。
それは、俺と仕事の話をしてる時や俺に対して何か質問をしている時に俺の方を見ずに
何か書類を記入しながら返答したり、会話をしながら仕事を進めて話がまだ終わっていないのに
他の場所に移動したりします（ただ、その後少しするとその場に戻ってくる）
急にいなくなると追いかけた方がいいのか、その場で待った方がいいのか分からず正直困ります。
そういった対応をされる時は俺が怒られてる時や責められているパターンの時が多く
その上司は不機嫌そうにしてる事が多いです。
いくら上司といえど人と話をしている時にこのような態度をとるのは失礼だと思うのですが、
ただ、そのような態度をされる時は自分がミスをしたりしてる場合が多いので申し訳ない気持ちになり
しかも相手は自分の上司なのでなかなか意見する事ができずにいます。

一般的に考えてみなさんがこのような態度をとられたら非常識に感じるものでしょうか？
それと、上司に対して「このような態度は失礼ではないか？」と指摘するのは普通の事でしょうか？
分かりにくい文章ですみません。