ニュースやSNSに流れる膨大な発言の中から、何が事実で何が虚偽なのかを即座に見極めることは、人間にとっても容易ではない。そこで近年、自然言語処理の研究コミュニティでは「自動ファクトチェック」の技術を競う大会が開催されてきた。それが FEVER ワークショップである。今年（2025年）の第8回では、AVeriTeC shared task が中心となり、参加者は「実際に役立つファクトチェック・システム」を構築するという難題に挑んだ。本稿では、報告論文をもとにその内容を紹介する。
この大会は単なる技術競争ではなく、研究の方向性そのものを映し出す鏡でもある。なぜなら、これまでの多くのベンチマークが依存してきたのは Wikipedia のような限定的知識源であり、現実の情報環境とは大きく隔たっていたからだ。SNSやニュースの世界で飛び交う主張はもっと多様で、数値を含むこともあれば、証拠が見つからない場合もある。つまり「正解ラベル」を単純に当てるだけでは不十分で、証拠をどう見つけ、どう使うかが問われる。AVeriTeC は、こうした現実の条件を持ち込むことでファクトチェック研究を一段階引き上げようとしている。
関連記事: 自動ファクトチェックの最前線 – 第7回FEVERワークショップ
現場を意識した制約
今回のタスクの特徴は、参加システムに課された厳しい制約にある。
- 使えるのは オープンに公開されたモデルに限る。
- 実行環境は GPU1枚（23GBメモリ）。
- 各主張を検証する処理は 1分以内に終えなければならない。
この条件は、単なる公平性のためではない。現実にニュースルームやファクトチェック団体が使うとすれば、商用APIを呼び出すだけの巨大システムではコストも再現性も担保できない。必要なのは、誰でも再現でき、持続的に運用できる仕組みである。今回の制約は、研究をそうした“現場仕様”に引き戻す試みだった。
データセットと評価方法
新たに作成されたテストセットは1000件。前回よりも「数値を含む主張」が増やされ、単なるテキスト一致では答えられない。さらに「Not Enough Evidence（証拠不足）」や「Conflicting（証拠が対立する）」といったケースも多く含まれている。つまり、モデルは「正しいかどうか」だけでなく、「正しく判断できるだけの証拠があるか」をも問われる。
評価にも工夫があった。従来はBLEUやROUGEのような単語一致に基づく指標が中心だったが、今年は Ev₂Rという新方式が導入された。これは、生成された回答とそれを支える証拠が、どれだけ人間の判断に近いかを大規模言語モデルに判定させる仕組みだ。単に「ラベルが合っているか」ではなく、「なぜそう言えるのか」という説明の妥当性を評価できる点で、人間の評価基準に一歩近づいた。
優勝チーム：CTU AIC の堅実な精度重視戦略
優勝を飾ったのはチェコ工科大学（CTU）の AIC チームだった。彼らの戦略は一見シンプルで、Qwen3-14B という大規模なオープンモデルを、そのまま文書単位の文脈と組み合わせて用いた。最近の流行である「量子化（モデルを圧縮して軽くする技術）」や特殊な高速化処理には頼らず、GPUメモリをフルに使って精度を優先した。
この方針は、制約の中で大胆でもあった。処理時間のリスクを抱えながらも、結果として安定して最も高い精度を達成し、優勝につながった。ここからは、複雑な工夫を加えるよりも、まず確実に正しい答えを出す設計が現段階では強いという教訓が得られる。
速度で存在感を示した EFC
対照的に注目を集めたのが EFC（Efficient Fact Checking） というチームだ。彼らのシステムは平均処理時間わずか7秒という圧倒的な速さを誇った。鍵となったのは Semantic Filtering と呼ばれる手法で、検索段階で不要な候補を効率的に削ぎ落とす。こうして短時間で有力な証拠を見つけ出し、限られたモデルで素早く答えを出すことに成功した。
結果スコアではトップには届かなかったが、「ファクトチェックをどこまで効率化できるか」という観点で大きな示唆を与えた。現場での運用を考えると、精度と同じくらい速度も重要であり、こうした研究は別の軸で価値を持つ。
他チームの多様な工夫
その他の参加チームも多彩なアプローチを示した。
- HUMANE（HerO 2） は、文書要約と質問生成を組み合わせて証拠を圧縮するアプローチをとり、堅実なスコアを残した。
- Yellow Flash は、インコンテキスト学習を積極的に取り入れ、柔軟に文脈を活用しようとした。
- OldJoe は、SQLデータベースを使って証拠を構造的に管理し、異なる探索方法を試みた。
これらの成果は優勝には至らなかったが、今後の研究方向を示す重要な実験である。ファクトチェックという複雑な課題に対し、精度重視・速度重視・新戦略の探索という三つの潮流が並び立っていることが浮き彫りになった。
研究的意義
今回の AVeriTeC shared task で最も大きな成果は、参加した全チームが オープンなモデルと公開可能な環境でシステムを提出したことだ。提出物はDockerやコードとともに共有され、誰でも再現できる。これは研究における透明性と再現性を飛躍的に高める。
さらに、評価の面でも「証拠の質」を重視する枠組みが導入され、単なる正答率を超えて「なぜその答えに至ったか」を測れるようになった。まだ数値的な主張や証拠不足ケースには課題が残るが、これらを克服する方向性も見えてきた。
結論
FEVER-8 の AVeriTeC shared task は、現実的な制約下でのファクトチェック自動化という挑戦を通じて、研究の地平を広げた。精度で堅実に勝負したCTU AIC、速度で存在感を示したEFC、そして多様な工夫を試みた他チーム。これらの成果は、研究者にとって単なるコンペ結果以上の意味を持つ。
この競技会が示したのは、「どのモデルが一番強いか」ではなく、偽情報対策を現場に持ち込むために必要な要素は何かという問いへの具体的な答えである。研究はまだ道半ばだが、確実に“実用の地平”へと歩を進めつつある。
コメント