チームみらいのファクトチェック用AIの問題点
GeminiにGitHubのコードを読ませて
相談しながらまとめてもらった
https://x.com/mainichi/status/1926937605033386079
https://github.com/team-mirai-volunteer/fact-checker

承知いたしました。このシステムの仕組みと、考えられる問題点をそれぞれ箇条書きでまとめます。
このシステムの仕組み
* ・ 定期的にバッチ処理が自動実行され、特定のキーワード（「チームみらい」など）を含む最新のツイートを最大30件取得します。
* ・ 取得したツイートの本文を、OpenAIのAI（GPTモデル）に渡してファクトチェックを依頼します。
* ・ AIは、あらかじめ登録された公式文書データベース（ベクターストア）の情報とツイート内容を照合します。
* ・ AIは、まずその文章が客観的に検証可能か（意見や感想ではないか）を判断します。
* ・ 検証可能な内容の場合、データベースの情報と矛盾がないかを判定し、「OK」「NG」「判定不能」のいずれかの結果を出します。
* ・ 「NG」と判定されたツイートがあった場合のみ、Slackに「要確認」の通知が投稿されます。
* ・ Slackの通知には、元のツイート内容、NGと判断した根拠、そして「承認してXに投稿」というボタンが表示されます。
* ・ 人間の担当者が内容を確認し、ボタンを押すことで、ファクトチェック結果を引用する形でXに自動で返信投稿できます。