相談させてください

とある悪質業者に騙されて高額の契約をしてしまいました
消費者センターに相談したところクーリングオフ適用との判断をいただき
クーリングオフを実行したのですが相手方が納得せず
弁護士を立てて請求通知書を送って来ました
した

明日、再度、消費者センターに行き相談したり警察や弁護士相談にいくつもりですが
最悪、訴訟にもつれこんだり嫌がらせやストーキング行為に
発展する可能性もあり不安で眠れません

消費者センターがクーリングオフ適用すると判断したことを
信頼というか拠り所にしてるのですが撤回しなくてはいけないパターンもあるのでしょうか？
(こちらとしては虚偽なく説明しており正当なクーリングオフだと思ってます

同じようなトラブルにあわれて乗り越えた方、
または客観的にアドバイスなど何でもいいので
この問題を解決する勇気をもらえるでしょうか