ICCT『Blurred Boundaries』──オンライン極端主義はなぜ“曖昧な形”で広がるのか

ヘイトスピーチ

2025.12.18

　ICCT（International Centre for Counter-Terrorism）の報告書『Blurred Boundaries』（2025年12月）が扱う中心問題は、オンラインで拡散する極端主義が、かつてのように露骨な暴力扇動やテロ賛美、組織参加の呼びかけといった「分かりやすい形式」から離れ、日常的なオンライン文化の中に“意味を薄く溶かし込む”ような形で拡張しているという事実である。報告書は、テロリストコンテンツ、違法コンテンツ、そして暗示的極端主義コンテンツという三層構造を法的根拠から再編しつつ、特に第三の領域がいかに規制・検出・モデレーションを“すり抜ける”構造になっているかを、文化・技術・制度の三方向から詳細に描き出す。特徴的なのは、暗示的極端主義コンテンツが偶然の産物ではなく、現在のオンライン環境そのものが生み出す“合理的戦略”として成立していることを、複数の実証例と制度分析を組み合わせて明確に示す点である。

極端主義はどのように“普通のコンテンツ”に紛れ込んでいるのか

　ICCTがまず描くのは、極端主義が浸透する場所が変質しているという構造的変化である。従来、過激派の主な発信源といえば、特定フォーラム、匿名掲示板、暗号化されたコミュニケーションアプリでの集団チャットなど、ある程度の“隔離された空間”だった。しかし、現在の極端主義はより軽量で、日常的で、娯楽的な空間に入り込んでいる。たとえば、右派過激主義者が日常的に共有するミームは、一見するとただのジョーク画像で、政治性がほとんど感じられない。猫の写真のキャプションに“14/88”という数字が添えられていたとしても、一般ユーザーには何の意味も持たない。しかし、この数字が「白人至上主義のスローガン（14 Words）」と「ヒトラー礼賛（Hが8番目のアルファベットであることに由来）」を象徴する符号であることを知る者には、一目で意味が通じる。こうした“知らない人には無害、知っている人には合図”という二重構造は、SNSのタイムライン上では極めて拡散しやすく、他者の注意を引くことなくコミュニティを維持できる。

　ゲーム空間においても同様の現象が確認される。MinecraftやRobloxといったユーザー生成コンテンツの多いゲームでは、建築モデルやアバターデザインの中に極端主義的象徴が密かに組み込まれることがある。たとえば、巨大建築物の中に特定のナショナリスト象徴を隠す、プレイヤー名に政治的暗号を用いる、あるいはゲーム内チャットで暗に特定集団への侮蔑を示す“隠語”を使う。こうした表現は、モデレーションチームが発見しても、違反として扱うには曖昧すぎる。しかし、特定のオンラインコミュニティ内では、これらが“仲間同士の合図”として機能し、極端主義的帰属意識の形成に貢献する。娯楽の場であるゲーム空間は規制当局の監視が薄く、ユーザー数も膨大であるため、この曖昧化は極端主義者にとって極めて“効率の良い”戦略となる。

　生成AIがもたらす変化はより根本的である。報告書では、ISIS支持者や右派過激主義者が、AIによる多言語生成を使って、自然で読みやすい政治論評風の文章を大量に作成し、それをSNSに投稿する例が複数示されている。かつてのプロパガンダは翻訳の粗さや主張の直線性から容易に識別できたが、現在のAI生成文は、多言語でありながら文体が滑らかで、専門家が読んでも“単なる政治的意見”に見える。しかしその内部には、宗教的引用、敵対勢力の悪魔化、暴力の正当化につながる論理的枠組みが組み込まれている。極端主義者は、AIを使うことで“普通の政治的投稿のフレーム”を借り、その内部に過激な含意を隠す。この方法は、モデレーションにもAI検出にも引っかかりにくいだけでなく、一般ユーザーにも警戒されにくい。

なぜ分類が破綻するのか──29指標コードブックの実証結果

　報告書の中核にあるのが、ICCTが暗示的極端主義コンテンツを分類するために構築した「29指標コードブック」を実際のコンテンツに当てはめ、その有用性を検証したパートである。暗示的表現を取り締まるために必要なのは、単なる機械学習モデルではなく、どのような言語・視覚的要素が過激主義と結びつきやすいかを体系化した“特徴セット”であるという考えに基づき、研究チームは過去研究、法規制、プラットフォームのガイドラインを組み合わせて29の分類指標を作成した。しかし、複数のアナリストが同じコンテンツをコーディングしたところ、実務で安定して使えると評価されたのはわずか6指標に過ぎず、大半は“使えない”という評価になった。

　その理由として最も重要なのは、暗示的極端主義が“内容そのものではなく、文脈で意味が決まる”という構造を持っているという点である。たとえば、「自己防衛の必要性を強調する」という指標は、極右・極左を問わず暴力を正当化する際によく使われる論法である。しかし、日常的なSNSでは、地域の治安悪化への不安を語る投稿にも同じ言い回しが現れる。極端主義的文脈と一般的文脈の境界は、テキスト単体では判別できず、発信者の過去の投稿、受け手コミュニティの性質、社会的な背景状況など、テキスト外の情報がなければ判断できない。同じ「自衛」という言葉でも、それが銃所持の正当化を意味するのか、夜間の帰宅に注意しようという意味なのか、指標では切り分けられない。

　「外集団への敵意」も同じ問題を抱える。明白な人種差別表現であれば分類可能だが、「政府」「エリート」「移民政策を推進する政治家」などへの批判が、正当な政治的批判なのか、極端主義的な敵対の煽動なのかは、文脈を踏まえなければ判断できない。ここでも、指標化された特徴を当てはめれば簡単に分類できるという前提が崩れている。報告書の結論は明確で、暗示的コンテンツは“意味の揺らぎ”を武器にしており、その揺らぎが指標体系を根本から破壊する。

EU規制が抱える“ねじれ”──DSA・TCO・AI Actの未整合

　技術的な困難に加えて、制度設計の側にも重大な問題がある。EUは巨大プラットフォームに透明性を求めるDigital Services Act（DSA）、テロ関連コンテンツの1時間以内削除を求めるTCO規則、そして汎用AIモデルにリスク管理を課すAI Actという三層構造をもつ。しかし、暗示的極端主義コンテンツの扱いでは、これら三つの制度が整合していないことを報告書は示す。

　象徴的なのが、InstagramとTikTokのDSAリスク評価報告書である。本来、プラットフォームは自社サービスに存在するリスクを細かく評価し、公表する義務がある。しかし、Instagramの文書に「borderline content」という語が現れるのはわずか1回で、その説明も表面的な記述にすぎない。TikTokの報告では、問題領域であるはずのborderline contentが一切言及されない。これは、プラットフォームが“DSA上の義務は形式的にこなすが、実態を開示する意図はない”という状態になっていることを示唆する。透明性データベースに登録される「Statement of Reasons（SoR）」についても、情報の粒度が粗く、削除判断の理由を外部研究者が追跡できない。DSAは透明性を理念として掲げているが、その運用は理念どおりには機能していない。

　さらにAI Actでは、AIモデルのリスク評価が別の枠組みで求められるため、プラットフォーム側は「どの情報をどこに提出するべきか」の判断が分断される。DSA担当のDigital Services Coordinatorと、AI Act担当のAI Officeが業務領域を明確に分けられていないため、モデレーションで発見された曖昧コンテンツが「テロ関連なのか」「AIリスクに関連するのか」「単なるコミュニティガイドライン違反なのか」という判定が制度上も揺らぐ。この制度的ねじれは、暗示的極端主義コンテンツという“分類そのものが難しい領域”において、対処不能性をさらに強める。

プラットフォームの非協力性──最大の“見えない壁”

　報告書を読むと、暗示的コンテンツ対策の最大の障害はプラットフォームの非協力性にあることがわかる。Meta、TikTok、Googleなど主要プラットフォームは研究プロジェクトへの参加を拒否し、内部モデレーションデータ、具体的な判断基準、誤検出率、異議申立の処理状況といった核心的情報は一切提供されなかった。つまり、外部から見れば、暗示的コンテンツがどの程度削除されているのか、どのように分類されているのか、何が見逃されているのか、基本的な統計すら確認できない。AIモデルを用いた検出がどれほど誤分類しているのかも不明である。ICCTは“研究としてできる限りの評価”を行ったが、その限界は極めて大きい。この“ブラックボックス化された現場”が残る限り、制度設計やAI技術の改善だけでは問題は解決しない。

結論──普遍的フレームワークの限界と、それでも必要な次の段階

報　告書は結論として、暗示的極端主義コンテンツに対して普遍的で一貫した分類フレームワークを構築することは、現状の技術・法制度・現場環境では不可能であると断言する。定義は曖昧で、文脈依存性が強く、AIはその曖昧性を処理できず、プラットフォームは透明性を提供せず、EU規制は制度的に整合していない──こうした条件が重なる限り、“万能の検出システム”は実現しない。しかし、ICCTは悲観して終わるわけではなく、個別領域ごとの定義の洗練、AIと人間モデレーターの役割分担、透明性義務の強化、外部監査体制の構築など、段階的改善の道筋を提示する。ただしその方向は、結果として一つの枠組みで全領域を仕切るのではなく、複数の小規模かつ文脈依存的な枠組みを並行的に使い分けるという考え方に収束する。

　『Blurred Boundaries』の価値は、テロ対策やヘイト対策の議論でしばしば見落とされがちな“曖昧な領域”を、抽象概念ではなく具体例と実証データを通じて可視化した点にある。暗示的コンテンツは、単に危険だから問題なのではなく、分類という行為そのものの根拠を揺さぶる点にこそ本質がある。表現が文化・文脈・技術環境とともに変化する以上、オンライン空間の安全保障は、一度作ったルールを永続させるのではなく、その都度変化に合わせて再構築し続けるしかない。