断るのに理由を言う必要はない。
「行かないよ」だけで十分。
行かない理由を考えないといけないと思うから断りにくくなるし、理由を言うから相手に反論の余地を与えるんだよ。