本稿が扱うのは、2026年8月10日にarXivへ投稿されたプレプリント「Build it, Break it, Repeat: Benchmarking and improving LLM-manipulated disinformation detection in social media posts」（arXiv:2608.09510v1、cs.CL）である。著者はKevin Thomas、Milosz Kasprzyk（両名筆頭著者）、Reuel C Igbokwe Onuigbo、Elliott Pert、Cameron Tovey、João A. Leite、Olesya Razuvayevskaya、Carolina Scarton（責任著者）の8名で、いずれもシェフィールド大学（University of Sheffield）コンピュータサイエンス学科に所属する。研究自体は同学科の修士レベルコースの一環として実施された5名の学生プロジェクトに基づく。5名は「builders」（検出モデルを構築する3名）と「breakers」（検出を回避する敵対的変換を開発する2名）に分かれ、対抗的な反復プロセスを通じて成果を積み上げた。研究はEPSRC（英国工学・物理科学研究会議）の助成金UKRI3352（”Longitudinal, Multilingual, and Multi-format Investigation and Detection of LLM-Generated Disinformation”）の支援を受けている。倫理承認はシェフィールド大学研究倫理委員会が付与した。コードとデータはGitHub（GateNLP/bibir_machine_generated_detection）で公開されている。
論文が取り組む問題は単純だが射程が広い。大規模言語モデル（LLM）による偽情報生成コストの低下は、従来ロシアのInternet Research Agencyのような組織的人的労働に依存していた影響工作の参入障壁を引き下げ、技術力の低い個人でも複数言語・複数ペルソナにまたがる説得力のある虚偽コンテンツを量産できる環境を作り出した。これに対抗する機械生成テキスト検出器は、多くが固定の保留データセットに対する静的ベンチマークで評価されており、敵対的行為者が投稿を意図的に変換して検出を回避する状況を反映していない。本論文はこのギャップを埋めるため、ソフトウェア工学分野で提案された「Build it, Break it, Fix it」フレームワーク（Ruef et al., 2016、builditbreakit.orgのコンテストに由来）を、機械生成テキスト検出というタスクの対抗的性質に合わせて「Build it, Break it, Repeat（BiBiR）」として再構成し、Twitter（現X）の短文投稿というこれまで手薄だった領域に適用した。
研究の対象と4つのリサーチクエスチョン
既存研究の大半は長文（ニュース記事、プロパガンダ調のナラティブ、エッセイ）を対象にしており、短文のソーシャルメディア投稿における機械生成偽情報検出は相対的に手薄だったと論文は指摘する。この空白を埋めるため、論文は次の4つのリサーチクエスチョンを設定した。RQ1はどの敵対的変換技術が検出器の性能を最も大きく低下させるか（正解率とラベル反転率で測定）。RQ2はどの技術が検出回避と原文の意味保持を両立できるか。RQ3はベースラインのTransformerモデルと対照学習（contrastive learning）系アーキテクチャのどちらが人間・機械生成テキストの識別に有効か。RQ4は静的評価に対して反復的なBiBiR評価がどのような利点を持つか、というものである。
BiBiRフレームワークの5段階構造
BiBiRは(I)データセット構築、(II)breakersによる変換、(III)意味保存分析、(IV)buildersによる評価、(V)Challenge Weekという5段階で構成される。初回のみ段階Iを実施し、以降の反復は段階IIからVを繰り返す。合計5回の反復（iteration）が行われた。段階(V)のChallenge Weekでは、builders側とbreakers側の双方が結果を検討し、観察された傾向を次の反復の戦略に反映させるフィードバックループが組み込まれている。この設計思想の核心は、検出器の頑健性評価を一度きりのテストではなく、攻撃側と防御側が互いの手の内を知らないまま段階的に高度化していく多段階のプロセスとして捉える点にある。
データセットは目的別に二系統用意された。breakers側が使う「bkr_data」は、HGO（Human-Generated Original、人間が書いた元投稿）とMGO（Machine-Generated Original、機械が生成した元投稿）各125件から成る均衡データセットで、いずれもbuilders側のベースライン分類器によって変換前に正しく分類された投稿のみを残している。HGOはPHEMEデータセット（Zubiaga et al., 2016）のルーマー系サブセットから抽出した人間執筆の誤情報投稿、MGOはTruthSeekerとAI-TRAITSから抽出した50件の偽情報クレームをシードにLlama-3.1-8B-Instructでゼロショット生成した250件の候補（1クレームあたり5件生成）のうち、ベースライン分類器が機械生成と判定した125件である。この選抜は、ラベル反転率（LFR）を「もともと正しく分類されていた投稿が変換後に誤分類される割合」として解釈可能にするための設計上の選択であり、裏を返せば最初から誤分類されていたHGOの偽陽性やMGOの偽陰性を除外するという選択バイアスを内包している。
builders側の「bld_data」はbreakers側のデータと完全に独立しており、データリークを避けるためサンプルレベルでの重複がない。人間執筆データはPHEMEとConstraint 2021: COVID-19データセットから計1,296件（PHEME 638件、COVID関連の科学健康ルーマー658件）をフィルタリングして採用し、機械生成データは各人間投稿をペルソナ工学的プロンプトに埋め込んで4種のLLM（Grok-4.1のgrok-4-1-fast-non-reasoning、Llama-3.3-70B-Instruct、GPT-4o、DeepSeek-R1）に順繰りに通す「tweet injection」で生成した。生成には10種類のプロンプトテンプレート（「だらけたスマホユーザー」「客観的なニュース報道」「皮肉屋のネットコメンテーター」など）を用意し、単純な同義語置換ではなく文構造・語彙選択そのものを変えるよう指示した。生成時の温度は0.3、DeepSeek-R1のみ最大トークン数を2,000に拡張して思考連鎖に対応した。生成に失敗した場合は別モデルへのフォールバックを実施し、AI特有の痕跡や意味のずれが残った16件を除外して最終的に1,280組の人間・機械ペアを得ている。
breakersの攻撃技術体系
breakers側は敵対的変換を4つの技術ファミリーに分類した。文字レベル摂動（A3）はルールベースでスペース挿入・句読点前のスペース・ランダムな改行挿入などを行い、トークナイザーの挙動を乱すことを狙う。語彙摂動（B1〜B3）はLLaMA-3.1-8B-Instructによる言い換え（B1は保守的、B3はより積極的な語彙・統語変化を狙った改訂版プロンプト）と、OPUS-MTおよびNLLBモデルを用いた逆翻訳（B2）から成る。逆翻訳のルートはアラビア語・ロシア語・日本語・ドイツ語・中国語の5言語を中間言語として利用し、日本語ルートは当初OPUS-MTを使用していたが、聖書調の無関係なテキストを幻覚生成する問題が頻発したためNLLB（facebook/nllb-200-distilled-600M）に切り替えられている。文体的カモフラージュ（C3）はEmotion English DistilRoBERTa-baseで投稿の感情ラベル（anger、fear、joy、neutral、sadness、surprise）を判定し、対応する絵文字セットからランダムに1つ選んで末尾に追加するという、プログラム的に実装された手法である。プロンプトベースの回避（D1〜D4）はLLaMA-3.1-8B-Instructでトーンやペルソナを変化させる手法群で、D1は感情トーンの変化（喜び・怒り・悲しみ・驚き・中立の5種）、D2は単純なペルソナ指定（「あなたは[ペルソナ]です」）、D3は年齢・民族・性別・居住地・職業まで具体化した詳細ペルソナ、D4はD3と同じ属性構成を「Think like a…」という間接的プロンプトで指示する手法である。定義された4つのペルソナは政治家（40歳白人男性、米国、政治家）、大学生（20歳アジア系女性、米国、大学生）、「brain-rot 10-year old」（10歳アフリカ系アメリカ人男性、米国、小学生）、四つ星陸軍大将（60歳白人男性、米国、陸軍大将）である。これらの技術は単独でも連結（chaining）でも適用され、連結変換は例えば「D3_B2_A3」のようにペルソナ書き換え→逆翻訳→スペース摂動の順で適用される。
反復ごとの攻撃構成は表にまとめられる。
| 反復 | breakers側技術 | 生成投稿数 | builders側モデル | データサイズ（train:dev:test） |
|---|---|---|---|---|
| 1 | D2, B2, C3, A3 | 12,000 | baseline (e5-small-LoRA) | 2,560 (1,920:384:256) |
| 2 | D1, D2, B2, C3, A3 | 90,000 | baseline + 逆翻訳データ拡張 | 3,200 (2,560:384:256) |
| 3 | B1, D1, D2, B2, C3, A3 | 180,000 | Siamese(1:1), Siamese(TF-IDF) | 2,560 (1,920:384:256) |
| 4 | B3, D1, D3, B2, C3, A3 | 180,000 | Triplet(TF-IDF) | 2,560 (1,920:384:256) |
| 5 | B3, D1, D4, B2, C3, A3 | 180,000 | Triplet(DASS) | 3,840 (2,880:576:384) |
反復1・2は生成規模が小さい探索的段階として扱われ、結果分析は反復1〜3を統合した「反復3」、反復4、反復5という3つの評価ポイントに集約されている（各反復とも技術コードの冪集合を2^n通りの真理値表として網羅的に生成しており、例えば反復2は5技術で32通りの組み合わせを尽くしている）。
各original-transformedペアは、意味保存分析パイプラインを通過する。ここでは自然言語推論（NLI、entailment/contradiction/neutralの3分類）、トークン長比率、E5コサイン類似度、BLEURTの4指標を用いて、変換が原文の意味・偽情報クレームをどの程度保持しているかを自動測定する。このパイプラインはフィルタとしてではなく分析レイヤーとして使われ、最終的な妥当性判断は人手評価（ME1: 意味保存、ME2: 自然さ、ME3: 偽情報クレームの保持）に委ねられている。人手評価は4名のコンピュータサイエンス専攻の学生（本論文の共著者でもある）が担当し、MGOセットに限定して各技術・反復ごとにHGO判定5件・MGO判定5件の計10件をサンプリングし、反復3〜5合計780件を評価した。
buildersのモデルアーキテクチャ
builders側は3系統6モデルを実装した。ベースラインはe5-small-lora-ai-generated-detector（RAID benchmarkのReddit部門でオープンソースモデル中5位の実績を持つ）をLoRAでファインチューニングしたもので、6エポック・バッチサイズ16・学習率2.286×10⁻⁵で訓練された。対照学習系はSiamese（1:1ペアリングとTF-IDFベースのhard negative miningの2種）とTriplet（TF-IDFペアリングとDASSペアリングの2種）に分岐する。
Siamese(1:1)は各人間投稿とその機械生成対を直接ペアにする単純な構成、Siamese(TF-IDF)はTF-IDFベクトルのコサイン類似度でtop-20（k=20）の近傍を抽出し、同一トピックバケット内から対を構成することで語彙的近さではなく文体的手がかりの学習を狙う。Triplet(TF-IDF)は同じTF-IDF k近傍エンジンを使い、アンカー・正例（同一著者ラベル）・負例（対立ラベル）の3点で構成する三つ組損失（triplet margin loss）を学習する。
最も成績が良かったのはTriplet(DASS)、すなわちGravText（Feng et al., 2025）が提案したdynamic anchor switching strategy（DASS）を実装したモデルである。DASSの三つ組は元の機械生成投稿T_L、その言い換えT_P、同一トピックの人間投稿T_Hから成り、標準的な三つ組損失
L_triplet(A, P, N) = max{0, D(A, P) − D(A, N) + margin}
に対して、学習ステップごとにアンカーの役割をT_LとT_Pの間で交互に切り替える。言い換えをアンカーにする場合（Paraphrased Anchor）はL^PA_triplet = max{0, D(T_P, T_L) − D(T_P, T_H) + margin}、元投稿をアンカーにする場合（Original Anchor）はL^OA_triplet = max{0, D(T_L, T_P) − D(T_L, T_H) + margin}となる。この双方向シグナルにより、モデルは元投稿と言い換え投稿が同一クラス（機械生成）に属することを学習しつつ、人間投稿からは一定マージン以上離れたクラスタを形成するよう強制される。DASS用の言い換えデータは、Triplet(DASS)専用に5種の新規プロンプトテンプレート（生成温度0.85）で作成され、生成モデルの割り当てローテーションを元の機械生成データ生成時とずらすことで、言い換え元と異なるLLMファミリーの言い換えになるよう設計されている。
RQ1: どの攻撃が検出器を最も崩すか
反復3の1,440通りのbreakers構成全体で、平均検出正解率は反復3の71.1%から反復4の60.2%、反復5の57.6%へと低下し、平均LFRは28.9%から39.8%、42.4%へと上昇した。LFR分布の中央値も反復3の23.0%から反復4の36.4%、反復5の41.6%へと上昇しており、平均値との差が縮小していることから、後期反復では一部の高性能な組み合わせだけでなく、より広範な攻撃構成が均等に高いLFRを達成するようになったことが分かる。
最強の攻撃構成は表の通り推移した。
| 反復 | 平均正解率 | 平均LFR | 最大LFR | 最大LFRの攻撃構成 |
|---|---|---|---|---|
| 3 | 71.1% | 28.9% | 85.6% | B1_D15_D23_B2_AR |
| 4 | 60.2% | 39.8% | 90.4% | B3_D13_D33_B2_AR |
| 5 | 57.6% | 42.4% | 95.2% | B3_D13_D43_B2_AR |
いずれの最強構成にもアラビア語逆翻訳（B2_AR）が含まれており、単独技術の中で最も強かった逆翻訳はB2_ZH（中国語、単独LFR 36%）だったにもかかわらず、組み合わせ効果ではB2_ARが優位という結果は、単独性能と組み合わせ性能が乖離しうることを示している。ペルソナ系プロンプト（D2→D3→D4）の進化は明確な効果を持ち、単独最強のD2バリアントがLFR 21.6%だったのに対し、D3バリアント（大学生ペルソナD32「20歳アジア系女性の大学生」）は32.0%、D4バリアント（brain-rot 10歳児ペルソナD43）は34.4%に達した。属性を詳細化するほど（simple persona → 年齢・民族・性別・居住地・職業を明示したpersona → それを間接的instructionにしたpersona）攻撃力が向上する傾向が確認されている。
技術ファミリーのアブレーション分析では、逆翻訳（B2）が最も信頼性の高い攻撃寄与因子と特定された。B2が不在の構成群はLFRが概ね30%未満に集中する一方、B2が存在する構成群は50〜90%の広い帯域にシフトする。対してB1（初期版の言い換えプロンプト）はLFRへの寄与がほぼゼロ（分布は1%付近に集中）であり、改訂版のB3は単独では突出しないものの高性能構成を下支えする役割を果たした。D1（トーンベース書き換え）も単独での寄与は限定的で、D3・D4（詳細ペルソナ）が最も強いプロンプトベース寄与因子だった。文字レベル摂動A3と文体カモフラージュC3は、存在・不在にかかわらずLFR分布が0%付近に張り付いており、検出回避への寄与がほぼ確認されなかった。
反復ごとの最強組み合わせ技術ファミリーは、反復3がD2_B2（平均LFR 38.48%、中央値33.6%）、反復4がD3_B2（平均LFR 52.72%、中央値48.4%）、反復5がB3_D4_B2（平均LFR 58.44%）とD4_B2（平均LFR 56.88%）であり、いずれも「ペルソナ変換＋逆翻訳」という2技術の組み合わせが、より多くの技術を連結した構成よりも平均的に高い効果を持つという逆説的な結果が示された。B1・D1・B3を加えたフルチェーン構成は最大LFRこそ高いものの、平均LFRでは2技術の組み合わせに劣後する傾向が一貫して見られている。
RQ2: 意味保存とクレーム保持の分析
LFRの高さは検出回避の成功を意味するが、それが有効な敵対的評価となるのは、変換後も元の偽情報クレームが保持されている場合に限られる。人手評価780件の平均スコアは反復が進むにつれて改善し、ME1（意味保存、3点満点）は2.456→2.517→2.585、ME2（自然さ、4点満点）は3.699→3.923→3.912、ME3（クレーム保持、1点満点）は0.797→0.866→0.868と推移した。
B2の言語別変種を見ると、中国語逆翻訳（B2_ZH）が一貫してME1・ME3ともに最弱（反復5でME1=1.982、ME3=0.552）であり、ヒートマップ分析でも最大の意味変化を引き起こす変種として確認された。対照的にドイツ語逆翻訳（B2_DE）は十分な言語的変化を加えつつ意味とクレームを比較的よく保持する（反復5でME1=2.888、ME3=0.982）。日本語（B2_JA）・ロシア語（B2_RU）はB2_ZHより概ね強く、アラビア語（B2_AR）は反復や組み合わせ次第で結果が揺れる。これは逆翻訳の効果が中間言語の言語的特性に強く依存し、一様な手法ではないことを示す。
D1〜D4のプロンプトベース技術はB2より一貫して高いME1・ME3スコアを示した。反復5のD4単独（特に大学生ペルソナのD42）はME1=2.980、ME3=1（満点）を記録し、意味保存とクレーム保持を両立させた最良の単独技術ファミリーとなった。しかし逆翻訳を連結すると（D4_B2）ME1は2.531、ME3は0.874へと低下する。同様の劣化パターンはD2_B2（ME1 2.369、ME3 0.749）、D3_B2（ME1 2.434、ME3 0.844）でも確認され、逆翻訳の付加は検出回避力を高める一方で意味保存を犠牲にするというトレードオフが定量的に示された（正規化スケールでの差分はΔME1が-0.10〜-0.13、ΔME3が-0.11〜-0.22）。
論文が具体例として挙げているのは、元投稿「Antifa takes responsibility for storming Capitol Hill, according to a CNN chyron, details still emerging, investigation ongoing.」がB1_D13_D23_B2_JA攻撃（言い換え→brain-rot 10歳児ペルソナ→日本語逆翻訳）を経て「Ommg omg omg Capitol Hill is soooo crazy! Antifa people, as they said they did, it’s sad. A lot of bad things happened, and we’re still not quite done with tho #CapitolHill #Antifa」に変換され、確率0.770で人間執筆と誤分類された事例である。ここでは逆翻訳由来と見られる文法・語彙の歪みに、ペルソナが導入したソーシャルメディア特有のスラングと人間的な文体的手がかりが重なり、両者が合わさって検出器を欺いている。
780件中69件（約8%）はME3が0点、すなわち元の偽情報クレームが完全に失われていた。このうち58%は検出器のラベルが反転していたが、クレーム自体が失われている以上、これは有効な敵対的回避とは言えない。分類結果と意味保存の関係を見ると、HGO判定された投稿はMGO判定された投稿よりME1・ME3が低い傾向（差分はそれぞれ-0.122、-0.050）があり、ME2（自然さ）はほぼ差がない（-0.008）ことから、検出器は流暢さではなく意味的な特徴でバイアスされている可能性が示唆される。ただしこの傾向は統制サンプル内での弱い関連性であり、意味劣化がHGO誤分類の原因であると断定できるものではないと論文は慎重に留保している。
自動意味保存指標と人手評価の相関では、E5コサイン類似度が最も強い相関（ME1でSpearman’s ρ=0.489、ME3で0.453）を示し、BLEURT（ρ=0.369、0.357）、トークン比率（ρ=0.347、0.356）が続いた。NLIラベルでは矛盾（contradiction）判定を受けた投稿（n=47、全体の6%）が平均ME1=1.986、ME3=0.620と明確に低いスコアを示す一方、entailmentとneutralはほぼ同水準（ME1で2.54台、ME3で0.85台）であり、NLIは「破綻の検出器」としては有用だが、保持と許容可能な言い換えを細かく識別する精度は持たないと結論づけられている。
RQ3: どのアーキテクチャが頑健か
builders側モデルの性能推移は次の通りである。
| モデル | 反復3 正解率/F1 | 反復4 正解率/F1 | 反復5 正解率/F1 |
|---|---|---|---|
| Baseline | 71.10% / 83.11% | 60.18% / 75.14% | 57.60% / 73.10% |
| Baseline(BT) | 69.74% / 82.17% | 58.61% / 73.90% | 56.92% / 72.54% |
| Siamese(1:1) | 24.94% / 39.92% | 16.99% / 29.05% | 17.05% / 29.13% |
| Siamese(TF-IDF) | 51.38% / 67.88% | 33.36% / 50.03% | 27.23% / 42.80% |
| Triplet(TF-IDF) | 47.02% / 63.96% | 29.48% / 45.54% | 24.44% / 39.28% |
| Triplet(DASS) | 81.47% / 89.79% | 72.88% / 84.31% | 72.68% / 84.18% |
Triplet(DASS)のみが全反復でベースラインを上回り続けた唯一のモデルであり、反復5時点でベースラインを正解率で15ポイント以上、F1で11ポイント上回っている。逆に、対照学習であればロバストになるという直感に反し、Siamese(1:1)は最悪の性能（反復4で正解率16.99%）を記録した。これは各ペアが同一トピック・同一クレームの人間・機械投稿1組に固定されているため、モデルがそのペアだけに存在する表層的な手がかり（特定の単語など）を学習してしまい、breakersが導入した言い換えバリエーションに対する汎化能力を全く獲得できなかったためと分析されている。TF-IDFベースのhard negative miningを用いたSiamese(TF-IDF)とTriplet(TF-IDF)も、反復3では中程度の性能（51%、47%）を示したが、反復5では27%、24%まで崩壊した。TF-IDFは語彙的重なり（lexical similarity）を測るため、breakersがペルソナ変換や多層逆翻訳で語彙的類似度を意図的に破壊すると、hard negativeの構成そのものが無効化されるという構造的弱点が露呈した。
DASSが他の対照学習アーキテクチャと決定的に異なるのは、言い換えバリアントを訓練時に直接扱う点である。アンカーを元投稿と言い換えの間で交互に切り替えることで、モデルは「言い換えがクラスを変えない」という不変性を学習する。反復3〜5でのDASSの正解率は81.52%→72.94%→72.75%と推移し、70%を常に上回った唯一の手法となった。
論文が特定した最大の脆弱性は、いずれのモデルにおいてもペルソナだった。特に「brain-rot 10-year old」と「college student」ペルソナは、builders側の訓練データにある人間投稿の文体的シグナルを一貫して再現し、インフォーマルなスタイルを模倣することで、ほぼ全てのモデルの予測を反転させる力を持っていた。対照的に、政治家ペルソナは機械生成テキストに近い構造性・フォーマル性を維持したため、攻撃力は相対的に弱かった。
RQ4: 静的評価と反復評価の乖離
builders側の保留テストセット（bld_dataから抽出した256件、訓練・検証データと同分布）での静的評価では、Siamese(1:1)を除く全モデルが82%を超える正解率を示し、ベースラインは92.6%、Triplet(DASS)は82.4%だった。特にSiamese(TF-IDF)はbreakersデータでは全反復を通じて低迷したにもかかわらず、静的held-outデータでは84%という高い正解率を記録している。
この静的評価結果とBiBiRの反復評価結果を比較すると、モデルごとの性能ギャップは次のように可視化される。
| モデル | held-out正解率 | 反復3 | 反復4 | 反復5 | held-out–反復5の差 |
|---|---|---|---|---|---|
| Baseline | 92.6% | 71.1% | 60.2% | 57.6% | 35.0pt |
| Siamese(TF-IDF) | 84.0% | 51.4% | 33.4% | 27.2% | 56.8pt |
| Triplet(TF-IDF) | 82.4% | 47.0% | 29.5% | 24.4% | 58.0pt |
| Triplet(DASS) | 88.3% | 81.5% | 72.9% | 72.7% | 15.6pt |
この乖離は、静的な in-domain・in-distribution 評価が実運用における頑健性を大幅に過大評価しうることを定量的に示している。とりわけSiamese(TF-IDF)とTriplet(TF-IDF)は、held-out評価だけを見れば実用的な性能に見えるが、敵対的環境では容易に崩壊するモデルであり、静的ベンチマークだけでは検出できない脆弱性を抱えていた。論文はこの結果を根拠に、機械生成テキスト検出の評価は継続的に進化する攻撃者を前提とした反復的・敵対的評価に移行すべきだと主張している。
限界と今後の課題
論文が明記する限界は、検証済みの人間執筆偽情報データの希少性である。builders側は当初CovidMis20データセットの使用を検討したが、そのラベルが手動でのクレーム検証ではなく「URLの発信元が信頼できるメディアか否か」のみに基づいていたことが判明し、採用を見送った。結果としてPHEME、Constraint、TruthSeekerという生成AI以前の時代に収集された小規模かつ特定イベントに偏ったデータセットに依存せざるを得ず、これはBiBiRチャレンジの多様性とスケールを制約し、汎化可能性に影響しうる要因として明記されている。また、builders側は検証済み誤情報のみで訓練するという制約を負う一方、breakers側は自ら生成した虚偽クレームに基づいて敵対的変換を作れるという非対称性も指摘されている。
今後の課題は3方向に整理されている。builders側はDASSアーキテクチャの分類タスクへの最適化拡張と、より高品質な人間偽情報データの収集、それを用いたプロンプト工学による訓練データ拡充。breakers側は指標ベースのフィルタリングを閾値付きの意味フィルタリングパイプラインに置き換え、ペルソナの種類と文脈をさらに発展させること。BiBiRフレームワーク全体としては、人間注釈のサブセットでLLMベースの評価器を較正するハイブリッド人手・LLM検証段階を追加し、ラベル反転が意味劣化によるものか有効な回避技術によるものかをスケーラブルに判別する仕組みの構築が挙げられている。
コメント