2日間だけの単発派遣バイトに応募したら、派遣会社づてに当日一緒のバイトが打ち合わせしたがってると連絡が来ました

派遣バイトは初めてだし断るとカドが立つかなと
相手の方に連絡したら当日は早めに、何時までに来るようにとか、この仕事はやったことがあるがとても忙しく大変だとか、要項をよく読んで来るように、当日はあなたはこれをやってね、などの指示が色々ありました

○○に住んでるなら何時にはこれるわね！と言われたのが引っかかります(もちろん詳しい住所までは知らないでしょうが)おそらく派遣会社の担当者が話したのだと思いますが…
私は個人情報！とかうるさいタイプではないですがなんだか気持ち悪くて2日前ですが仕事を断りたいです

はじめての派遣で断るとブラックリストに乗りますか？