どうしたらいいのか分からないので他の方の意見を聞かせてください。

来月友人(以下Aとします)と2人で旅行がてらにコラボカフェに行く予定です。
先日、そのАのツイのフォロワー(以下B)が、コラボカフェで一緒になるかもと連絡が来ました。АはBと会ったことはないが、良い人だから大丈夫といいます。勿論私はBを知りません。
私は2人で行くのを楽しみにしていたし、Aの知人とはいえ会った事もないBと一緒なのは抵抗あります。以前Aと遊びに行ったときも、Aのフォロワー(Bではない)と1時間以上話しこまれて待ちぼうけをくらったので、正直断りたいです。

この場合、断ったらカドが立つでしょうか？上手いかわし方がありますか？