用があるので無理ですって言えば済んだのでは?
具体的に何の用なのかしつこく聞いてきたなら変な職場
わざわざ自分から言ったのならただの馬鹿