Veloraは出版社向けにAIを用いた記事制作支援を提供する企業で、共同創業者のDanny Bellionはニュース原稿の草稿作成からCMSへの入稿までを自動化するプラットフォームを開発している。同社のDanny BellionとPeter Stuartが2026年6月10日付で公開した報告書「JournoBench: Which AI research agents can a newsroom trust to source a story?」は、ニュース編集現場が実際に使う、あるいは使おうとしているAI調査エージェント9種を、実在の報道事案30件にわたって検証したベンチマークである。
何を測るベンチマークか
JournoBenchが検証する対象は、AIが事実を見つけられるかではなく、その事実がどこから来たのかを編集者が追跡できるかという一点に絞られている。報告書はこれを「編集者が記事を出す前に行う確認作業と同じ」と位置づけ、次の4基準で採点する。
- エージェントは一次情報源に到達したか（primary_reached）
- 記事の核となる事実を報告書に含んでいるか（key_facts_present）
- 各事実を一次情報源に紐付けて記述しているか（citation）
- 記載内容に事実と矛盾する誤りがないか（factual_error）
執筆の巧拙や長文としての完成度は採点対象に含まれない。流暢で情報量の多い報告書であっても、出典が一次情報源でなければこのベンチマークでは失格になる設計である。
報告書はこの空白を、既存のベンチマーク群と対比させて説明している。SimpleQAやFRAMESのような事実性ベンチマークは、モデルの記憶あるいは試験側が用意したコーパスから短い解答が正しいかを判定するものであり、BrowseComp系のオープンウェブ検索ベンチマークは、見つけにくい事実を実際のウェブ上から探し当てられるかを解答の正誤だけで採点する。JournoBenchに最も近い「アトリビューション研究」も、引用された文書が主張を裏付けているかを測るが、その際に参照するのは固定されたリファレンスコーパスであり、報道が実際に発生した元の文書そのものではない。JournoBenchが埋めようとしているのは、この「一次情報源に到達したか」「事実がその一次情報源に紐付けられているか」という、報道の現場が最も譲れない部分である。
「ファクトロンダリング」という概念
報告書はこの検証を通じて観察された典型的な失敗を「fact laundering（ファクトロンダリング）」と名付けている。定義は明確で、報告書が一次情報源に到達しているにもかかわらず、事実の出典を別の（多くは二次的な）記事に付け替えてしまう現象を指す。事実そのものは正しいが、読者が検証できる出所は失われる。報告書はこの現象を検証全体に対して「最も少ないツールで5パーセント、最も多いツールで半数近く」の頻度で観測したと述べている。
この命名は、金融犯罪における「マネーロンダリング」——出所の悪い資金を正当な取引を経由させることで洗浄する手口——からの類推であり、情報操作研究の分野で使われる「インフォメーションロンダリング」（真偽不明・文脈を欠いた主張を、信頼度の高い媒体や引用の連鎖を経由させて正当化する手法）という既存概念と構造的に重なる。ただし報告書自体はディスインフォメーション研究の文脈でこの語を用いてはおらず、AI調査ツールの出典管理という限定された技術的問題として提示している点は区別しておく必要がある。
ベンチマークの設計
JournoBenchは30件の実在する報道事案で構成される。各事案は約20語程度、実際の報道端緒（ニュースティップ）に相当する短い記述（シード）と、人間が一次情報源そのものから作成した解答キーの組で作られている。シードは出来事の名称程度しか示さず、事実の中身はエージェント自身の調査に委ねられる。
事案選定の条件は2つある。ひとつは、報道機関が実際に引用するであろう一次情報源（開示文書や当事者の一次投稿）が特定できること。もうひとつは、出来事の発生日が検証対象となる全モデルの学習データカットオフより後であることだ。この条件により、正答は記憶からの再現ではなく実際の調査の証拠となる。対象事案はスポーツ、小売、公共政策、金融、消費者向け製品発表など約20領域にまたがる。
事案として全文が示されている一例が、ルルレモン（Lululemon）が2026年度通期業績見通しを引き下げた案件である。
- シード：「ルルレモンは第1四半期決算を受けて2026年度通期見通しを引き下げ、売上高・利益ガイダンスを下方修正した」
- 一次情報源：同社自身の決算発表（corporate.lululemon.com上のもの）、SEC提出書類、それを配信したワイヤーサービスのいずれか。この案件はCNBC経由で報じられたが、報道機関が引用すべきは同社自身であってCNBCではないと報告書は明記する。
- 核心的事実：新しいガイダンス自体——通期純売上高を110.0億〜111.5億ドルに、希薄化後EPSを10.95〜11.15ドルに引き下げたこと。「見通しを引き下げた」という事実はシードに書かれているが、具体的な数字は調査でしか得られない。
- 補足事実：引き下げの契機となった第1四半期の実績、純売上高25億ドル（前年比4パーセント増）。
- 罠：引き下げ前のガイダンスはこれより高く、売上高113.5億〜115.0億ドル、EPS12.10〜12.30ドルだった。この古い数字は引き下げ前の報道に大量に残っており、これを現在の見通しとして提示してしまう報告書は、決算発表そのものと矛盾する事実誤認を犯したことになる。
解答キーは一次情報源のURLそのものを固定し、そこから抽出した事実を「核心的事実（記事の骨格をなし欠かせないもの）」「補足事実（記事を完全なものにする詳細で、一次情報源を全文読んだ証拠になるもの）」「付随的事実（チーム名や証券コードなど、言及の義務はないが誤ってはならない背景情報）」の3層に分けて記録する。採点式は次の通りである。
score = primary_reached + key_facts_present + secondary_facts_present
+ citation − 2 × factual_error一次情報源への到達、核心的事実、補足事実、出典付けのそれぞれに1点を与え、いずれかの層の事実と矛盾する記述には2点を減点する。理論上の得点範囲はマイナス2からプラス4で、報告書ではこれを4点満点に対する百分率として提示している。
primary_reachedの判定は、解答キーに登録された一次情報源の正規化済みURLが報告書内に逐語一致で現れるかというコードレベルのチェックを、判定モデルへの強い証拠として与えたうえで最終判断させる二段構えになっている。同一情報源の別の公式URLであれば到達と認めるが、二次的な記事のみを反響させた場合は認められない。
検証対象と手法
Veloraは検証対象を、報道機関が実際に購入しうる製品として3系統に分類した。
第一に、Velora自身が開発した多段階調査エージェント（velora-research）。検索計画の立案、情報源への到達と読解、引用された発言の出所追跡までを行い、出典付き原稿を作成する。ベンチマークでは製品が実際に出荷している構成——あらゆる分野のニュースに対して読み込まれる汎用の「編集ニュース調査スキル」（一次情報源への到達と引用発言の追跡を促す指示）を含み、案件固有の設定は一切読み込まない状態——で走らせている。報告書はこのスキルを「製品の一部であり、実際に機能を果たしている」と位置づけ、これを外した素の実行では一次情報源への到達率が大幅に下がると付記している。
第二に、大手3社が提供する「モデル＋検索」構成。Google Gemini 3.1 Pro・3.5 Flash（Gemini API経由のGoogle検索グラウンディング、モデルが選んだクエリで一度だけ検索・統合を行う方式）、OpenAI GPT-5.4・GPT-5.5（Responses API経由のweb_searchツール、モデルが検索・結果読解・再検索の要否を判断するループ方式）、Anthropic Claude Sonnet 4.6・Opus 4.8（Messages API経由のweb_searchツール、同様のループ方式）の計6モデルをヘッドレスで実行した。ここで一点、意図的な調整が入っている。OpenAIモデルの検索は「reasoning effort」の設定次第で挙動が大きく変わり、未設定のままだとGPT-5.4はほとんど検索せず、GPT-5.5は30件を超えるクエリを2分かけて実行し費用が10倍に膨らんだ。報告書はこれを他製品と挙動を揃えるため「medium」に固定したと説明している。Claudeの検索は既定で範囲が制御されているため同様の調整は不要だったという。
第三に、単発のAPI呼び出しで出典付き回答を返す専用の「アンサーエンジン」、Perplexity（sonar-pro、既定モードでの単発検索）とLinkup（deep search、複数回の反復的エージェント検索）。
全製品には同一の指示文が与えられている（付録に逐語掲載）：「あなたはニュース媒体のために記事を調査している。その記事の執筆に資する、出典付きで検証可能な調査報告書を作成せよ」。この指示は一次情報源も出典も具体的事実も名指ししておらず、報告書はこれを「エージェントがうまく出典を扱えるかどうかそのものを測定するため」と説明している。
判定は単一の言語モデル判定者（GPT-5.4-mini）が、解答キーと報告書本文を突き合わせ、5つのチェック項目それぞれについて可否と一文の理由を返す方式で行われた。判定者の系列がOpenAIモデルと重なる点について、報告書は「判定は既知の解答キーとの一致を評価するものであり、判定者自身の品質観に基づくものではないため、系列の一致が有利に働く余地はない」と説明している。
各事案は9製品すべてが2回ずつ実行され、合計で540件の報告書が採点された。この「同一事案内でのペア比較」設計により、30件という規模でも製品間の差を検出できるとされている。実行間のばらつきはGPT-5.4が最大で8ポイント差、GPT-5.5は2回とも同一の81パーセントだった。
費用の測定は、各プロバイダが報告する実際のトークン数・検索回数を、それぞれの公開料金表で価格換算する方式を取っている。Veloraの費用は卸価格（モデルのトークン費用とAPI呼び出し費用の実費）であるのに対し、他社の数字は各ベンダーが顧客に課す小売価格であり、報告書はこの2つが厳密には比較不能である点を明記している。
結果：スコアと出典率の乖離
リーダーボードは次の通りである（2回の実行の平均、4点満点に対する百分率）。
| ツール | スコア | 費用/案件 |
|---|---|---|
| GPT-5.5（web） | 81% | 約50セント |
| Velora | 77% | 約2セント |
| GPT-5.4（web） | 71% | — |
| Gemini 3.5 Flash | 70% | 約12セント |
| Gemini 3.1 Pro | 68% | 約8セント |
| Claude Sonnet 4.6（web） | 62% | — |
| Claude Opus 4.8（web） | 60% | 約47セント |
| Perplexity sonar-pro | 35% | — |
| Linkup | 29% | — |
GPT-5.5が唯一群を抜いて81パーセントに達し、同時に検証対象の中で最も高額（案件あたり約50セント）だった。Veloraは77パーセントで僅か4ポイント差につけ、費用はGPT-5.5の約25分の1にあたる案件あたり約2セントに収まっている。GPT-5.4、Gemini 3.5 Flash、Gemini 3.1 Proは68〜71パーセントの帯に固まり、Claude Sonnet 4.6とOpus 4.8はそれぞれ62、60パーセント。PerplexityとLinkupはここから大きく離れ、35パーセントと29パーセントにとどまった。
より重要なのは、どのチェック項目で点を落としているかという内訳である。
| ツール | 一次到達 | 核心事実 | 補足事実 | 出典付け | 誤りなし |
|---|---|---|---|---|---|
| GPT-5.5（web） | 87 | 92 | 65 | 83 | 98 |
| Velora | 87 | 90 | 62 | 73 | 98 |
| GPT-5.4（web） | 87 | 85 | 42 | 77 | 97 |
| Gemini 3.5 Flash | 80 | 92 | 85 | 62 | 82 |
| Gemini 3.1 Pro | 73 | 90 | 75 | 48 | 93 |
| Claude Sonnet 4.6（web） | 67 | 88 | 77 | 35 | 90 |
| Claude Opus 4.8（web） | 65 | 88 | 77 | 45 | 83 |
| Perplexity sonar-pro | 60 | 63 | 23 | 38 | 78 |
| Linkup | 53 | 63 | 35 | 7 | 78 |
核心的事実の再現率はどのツールも63〜92パーセントの範囲に収まっており、「事実そのものを見つけられるか」では大差がついていない。差が開くのは、一次情報源への到達率と出典付け率という、報道機関が妥協できない2軸である。
ここで報告書が指摘する最も逆説的な傾向は、補足事実（詳細）を最も豊富に運ぶツールほど、その出典付けの率が低いという相関である。Claude Sonnet 4.6は補足事実の再現率が77パーセントとフィールド最高水準にありながら、出典付け率は35パーセントに沈む。Opus 4.8も同じ77パーセントの再現率で出典付けは45パーセント。Gemini 3.1 Proは一次情報源への到達率73パーセントに対し出典付けは48パーセント。Linkupは出典付け率7パーセントとフィールド最低である。詳細を厚く運べるツールほど、その詳細をどこから得たかを読者に示さない——これがベンチマークが可視化した構造である。
なおVelora自身の弱点も報告書は隠していない。補足事実の再現率は62パーセントで、Gemini Flash（85）、Claude両モデル（77）、Gemini Pro（75）、GPT-5.5（65）のいずれにも劣る。一次情報源への到達と出典付けは高水準だが、情報源を読み込む深さでは他に譲るという評価である。
価格と品質の関係
費用対品質の図では、価格が品質を予測するのはフィールドの下位でのみだと報告書は結論づけている。最安価格帯のPerplexityとLinkupはスコアも最低で、価格と品質の相関がここでは成立する。しかしその上の層になると相関は崩れる。Claude Opus 4.8は案件あたり約47セントとGPT-5.5に迫る費用でありながら、より安価なSonnet 4.6より2ポイント低いスコアしか出せていない。Veloraが約2セントで77パーセントに達している一方、Opus 4.8はVeloraの20倍以上のコストで17ポイント低いスコアにとどまる。
報告書はこの現象を「費用は挙動の産物であって、単なる定価の産物ではない」と分析している。1回の実行にかかる費用は、そのツールが何回検索を発行し、取得した文脈をどれだけ読み込むかに依存する。事実、Gemini 3.5 Flashはトークン単価では3.1 Proより安いにもかかわらず、検索回数と読み込み量の違いにより案件あたりの実費は3.1 Proの1.5倍に達している。
4種類の失敗モード
540件の報告書全体を通じて観測された失敗の内訳は以下の通りである（一つの報告書が複数の失敗を同時に抱えうるため合計は100パーセントを超える）。
| 失敗の種類 | 発生率 |
|---|---|
| 希薄化（補足事実の欠落） | 40% |
| 一次情報源未到達（二次記事のみに到達） | 27% |
| ファクトロンダリング（一次到達済みだが出典は別） | 23% |
| 事実の捏造（記載事実と矛盾する主張） | 11% |
最も頻度が高いのは「希薄化」——事実は一次情報源に存在するが、報告書がその記録を薄くしか運ばない失敗であり、報告書はこれを「最も一般的で最も害の少ない失敗」と位置づけ、Veloraが点を落とす最大の要因でもあると明記している。
「ファクトロンダリング」はベンチマークが名指しで検出しようとした失敗そのものであり、全体の23パーセントで発生している。一次情報源に到達した報告書に限って見ると発生率は31パーセントに達し、到達済みの報告書のうちほぼ3件に1件は、調査の過程で一次情報源を突き止めながら、執筆の段階でその出所を失っていることになる。この現象が最も顕著なのはLinkupで、一次情報源への到達率は半数に達する一方、出典付け率はわずか7パーセント。大手ラボのモデルの中ではClaude Sonnet 4.6の乖離が最も大きく、到達率は3分の2に達するのに出典付けは3分の1をわずかに超える程度にとどまる。
「一次情報源未到達」はこれに次ぐ頻度（27パーセント）で、一次情報源に一度も到達せず二次的な記事だけを根拠に報告書を書く失敗である。最も頻度は低いが最も深刻なのが「事実の捏造」（11パーセント）で、記載された事実のいずれかと矛盾する主張を含む失敗であり、報告書はこれを「訂正記事につながる誤り」と表現している。Gemini FlashとClaude Opus 4.8はこの失敗をおよそ5件に1件の頻度で犯している。
ルルレモン案件に見る「同スコア・異なる失敗」
ファクトロンダリングの構造を最も具体的に示す例として、報告書はルルレモンの案件を挙げている。VeloraとGemini 3.1 Proはこの案件でともに4点満点中3点を獲得しながら、失っている点は異なっていた。
Veloraは四半期の詳細情報は薄めだったが、ガイダンス数値——記事の骨格そのもの——を決算発表に直接紐付けて記述していた。報告書に引用された原文は次の通りである。
「2026年について、当社は現在、純売上高が110.00億〜111.50億ドルの範囲になると見込んでおり、これは1パーセントから0パーセントの減少に相当する」（ルルレモン・アスレティカ社プレスリリース）[2]
一方Geminiはより充実した報告書を書いており、引き下げ前のガイダンス、利益率の数字、アナリストの反応まで一段落を割いて記述し、情報源の一覧には同じ決算発表も含めていた。しかし肝心のガイダンス数値そのものは、二次的な記事に脚注として紐付けられていた。
「通期売上高：110.0億〜111.5億ドルの範囲に下方修正[6]。通期EPS：10.95〜11.15ドルに引き下げ、従来予想の12.10〜12.30ドルから減額[3]」 [3] qz.com/lululemon-full-year-guidance-cut-product-sales [6] retailtouchpoints.com/news/lululemons-q1-profits-slide
この数字を検証しようとする読者はqz.comにたどり着くが、同社自身の決算発表は同じ情報源一覧の中で使われないまま眠っている。事実は正しく、出所だけが失われた状態である。Geminiは出典付けの点を落とし、Veloraは補足事実の点を落とした。同じスコアでありながら失敗の中身は正反対であり、報告書はこの対比を「どちらか一方だけが、編集者に中心的な主張を情報源と突き合わせて検証させる」ものだったと締めくくっている。
限界事項と利益相反への対応
報告書自身が明記する限界は複数ある。30件という規模は、隣接する製品間の1〜2ポイント差が実行間のばらつきの範囲内に収まりうる程度の小ささであり、厳密な優劣とは読めない。約20領域に事案が分散していることは全体としての汎用性を担保する一方、1領域あたり1〜2件という分布は領域別の優劣判定を一切支持しない。エージェントの挙動は非決定的であるため、2回の実行結果の平均で順位付けし、両方の数値を併記している。
判定に用いたGPT-5.4-miniは、検証対象9製品のうち2つ（OpenAIモデル）と同系列である。報告書はこれについて、判定者はモデル自身の品質観ではなく人間が一次情報源から作成した解答キーとの一致を評価しているため、系列の一致が採点に有利に働く余地はないと説明し、最も比重の大きいprimary_reachedの判定はコードレベルのURL一致というさらに客観的な裏付けを持つ点、および判定用プロンプト全文を付録として公開している点を挙げている。
費用比較についても、Veloraの数字が卸価格、他社が小売価格である非対称性を明記し、「桁の大きさとして読むべきであり、厳密な同一条件比較ではない」と注記している。
最も直接的な利益相反は、報告書の著者2名がVelora自身の開発者であり、そのVeloraが2位にランクされている点である。報告書はこれに対し、採点用ハーネス・全事案・全解答キー・540件すべての採点結果を公開していること、解答キーはいずれのエージェントの実行前に一次情報源から作成し確定させていること、Velora自身の失敗（補足事実の再現率の低さ）も結果セクションで明示的に報告していることを対応として挙げている。とはいえ、事案の選定基準や領域構成そのものはVelora自身が設計したものであり、この設計が自社の得意とする種類の案件——一次情報源への到達と引用付けを重視する構成——に有利に働いていないかは、公開されたハーネスと事案セットを第三者が独立に検証して初めて確認できる点であることは付言しておく。
再現用のハーネス、事案、解答キー、案件ごとの採点結果はgithub.com/velora-digital/journo-benchで公開されており、本結果に対応する事案セットはタグjourno-bench-cases-v0.1で凍結されている。事案の追加はYAMLファイル1件、検証対象プロバイダの追加はアダプタ1件で行える設計になっている。
何が新しいか
このベンチマークが提示する最も具体的な貢献は、「事実の正しさ」と「出典の追跡可能性」を別の軸として分離し、後者を一次情報源のURL一致という検証可能な形で測定した点にある。既存の事実性ベンチマークの多くは前者しか測っておらず、報告書が示した「詳細を厚く運ぶツールほど出典付けの率が低い」という逆相関は、単に既存ベンチマークの延長では見えてこなかった構造である。AIによる調査支援がニュース制作の現場に入り込みつつある現在、事実の正確さだけでなく、その事実がどの文書から来たかを読者や編集者が独立に検証できるかという観点は、報道機関がAIツールを選定する際の実務的な基準になり得る。同時に、ベンチマークの設計者自身が評価対象の製品を提供しているという構造上、この種の透明性担保の枠組みが十分かどうかは、読者が公開されたハーネスと事案セットを自ら確認する形でしか最終的には検証できない。
コメント