本稿で紹介するのは、Manchester大学のAllysa Czerwinsky、Southampton大学のAshton Kingdon、Waterloo大学のShana MacDonaldとKarmvir Paddaによる共著報告書「Understanding and Responding to AI-Driven Visual Harms: A Collaborative Approach in British and Canadian Contexts」（2026年7月）である。本研究はResponsible AI UK（英国政府の研究助成機関EPSRCが資金提供するAI責任研究プログラム）の助成（grant番号EP/Y009800/1）を受け、2026年1月5日から3月31日にかけて実施された。公的研究助成による学術プロジェクトであり、特定の政治的立場を代弁する組織ではないが、研究チームは極右・男性優越主義研究を専門とする立場から一貫して同分野の害悪拡大に警鐘を鳴らす論調で執筆しており、この点は報告書の分析視座を理解する上で留意すべきである。報告書は英国およびカナダにおける2026年6月12日までの立法動向を反映している。
研究の背景と目的
生成AI(genAI)による視覚コンテンツ生成の急速な普及は、偽情報・誤情報、オンライン上の害悪、過激派プロパガンダ、違法コンテンツの拡散といった既存の課題と複雑に交差している。研究チームはAIインシデントデータベース(AI Incident Database、AI関連の害悪事例を集約するクラウドソース型アーカイブ)の集計を引用し、2022年から2024年にかけてAI駆動の害悪報告が50%増加し、2025年10月時点で総件数が2024年の年間総数をすでに上回ったことを指摘する。加えて、Replika上のAIガールフレンドとの対話を通じて2021年に武器を持ってバッキンガム宮殿への侵入を企てたJaswant Singh Chailの事例や、2026年初頭にカナダ・ブリティッシュコロンビア州タンブラーリッジで発生した銃撃事件でOpenAIのChatGPTとの対話が関与したとされる事例を挙げ、チャットボットが暴力を助長した既存事例との連続性の中に本研究を位置づける。
報告書は「AI駆動の害悪(AI-driven harms)」という語を、genAIツールが既存および新規の暗示的・明示的な害悪を「創出し、悪化させ、助長する」多様な様態を指す包括概念として定義する。研究の対象は非同意性の性的画像や暴力的ディープフェイクといった既に規制対応が進んでいる領域を超え、白人ナショナリズムおよび男性優越主義的信条の伝播・増幅にミームや動画がどう機能するかという、規制上の空白領域にある。研究目的は(1)genAIが視覚的ヘイトスピーチと表象的害悪をいかに助長・加速させるかの文書化、(2)自動コンテンツモデレーションツールの実効性評価、(3)政策・プラットフォーム・開発者向けの根拠に基づく提言の策定、の3点である。
手法概要
研究は4つの迅速な質的ケーススタディから構成される。ケース1はTikTokおよびYouTubeを対象に、2025年9月13日の極右街頭運動「Unite the Kingdom」(英国最大級の極右デモの一つ)関連コンテンツにおける生成AIの活用を分析した。TikTokデータは2025年9月1日から11月1日まで日次収集され、YouTubeとYouTube Shortsは2026年1月26日から2月21日にかけてランダム間隔で収集された。検索語・ハッシュタグ追跡・アカウントフォロー・楽曲追跡の4手法によるスノーボールサンプリングを用い、収集動画は合計2,500本(TikTok 2,300本、YouTube 100本、YouTube Shorts 100本)に達した。TikTok動画2,300本中1,893本がAI生成画像を含み、YouTube動画100本は全てAI生成であった。分析にはBraun and Clarkeの6段階テーマ分析とBarthesの記号論的枠組みを組み合わせた。
ケース2はTikTok上の若年男性向けコンテンツを対象とし、バーナーアカウント(@alphamalevaulting)を用いて2025年後半の3週間、285本の動画を収集した。ケース3はInstagram研究アカウント(@miso.joe)を用いて2024年10月から2025年9月にかけて収集された別プロジェクトのデータから、マノスフィア関連ミーム56点を抽出し分析した。ケース4は、視覚・テキストコンテンツにおける暴力・過激主義・ヘイト表現を検出する自動モデレーションツールSightEngineの実効性を、前述の収集データおよび英国極右の新たなプロパガンダ用AI人格「Amelia」の動画13本を用いて検証した。
ケース1：Unite the Kingdom運動における「工学的バイラリティ」
分析からは5つのテーマが浮上した——(1)第二次大戦の記憶と移民の実存的脅威化、(2)国民的象徴と侵略としての移民表象、(3)十字軍騎士・帝国的図像・失われた栄光、(4)経済危機と人種化された資源競争、(5)反エリート言説と「二層司法」である。報告書が最も強調するのは、genAIが専門的プロパガンダ制作への参入障壁を事実上撤廃したという構造的変化である。個人が無料で数秒のうちに無制限のフォトリアリスティックな画像を生成できるようになり、10年から20年前の組織全体の生産量を一人で上回ることが可能になった。人種化された住宅危機の描写や「侵略」のシナリオは、もはや現実の取材や演出によるものではなく生成されたものである点が決定的である。分析では美的操作（ヴィンテージ風の演出により資料的信頼性を演出）、時間的圧縮（複数時代を単一画像に融合し偽の視覚的記憶を作る）、モデレーション飽和（大量の変種を再生成し検閲能力を上回る速度で拡散する）の3手法が確認された。さらにゲーム的視点を用いた表現として、ノルマンディー上陸作戦の一人称視点にナチス兵の代わりに現代の移民ボートを配置し、外部からの脅威に対する暴力を規範化する事例も報告されている。
プラットフォームのアーキテクチャそのものが過激化の媒介として機能する点も重要な指摘である。TikTokのランキングは完了率・再視聴率・エンゲージメント・初速に基づき、正確性や社会的害悪という概念を組み込んでいない。研究チームは、この運動関連コンテンツが単に既存インフラに乗じただけでなく、ランキング構成要素を体系的に利用するよう設計されていた点を「エンゲージメントを組織的に利用する脅威」として区別する。TikTokのアルゴリズムは支持的関与と敵対的関与を区別できないため、怒りを込めたシェアやコメントも拡散に寄与してしまう。
とりわけ注目すべき発見は音声を介した増幅機構である。「Two-Tier Justice」というAI生成映像を伴う楽曲は、行進の1週間前にYouTubeで発表され、収集されたTikTok動画のうち556本に使用された。この楽曲は「移民は二層司法制度下で優遇される」という不満を圧縮したスローガンとして機能し、TikTokの音声連動インフラがそれを大規模に拡散させた。さらに深刻なのは、Lady Gagaの楽曲「Bloody Mary」のインストゥルメンタル版が米国のMAGA（Make America Great Again、トランプ支持運動）関連コンテンツで広く使われている音源であり、これが英国のナショナリズムコンテンツとの間でプラットフォームの音声リンク機能を通じて自動的に接続された点である。両運動間の意図的な連携は不要であり、プラットフォームの標準的な機能の副産物として国際的ネットワークが構築されたことになる。この発見は、国内法制に限定された規制枠組みが構造的に不十分であることを示唆する。
さらにYouTube上では3～6分の長尺AI生成動画が独自の脅威形態を構成する。映画的スコアリング、合成音声のナレーション、連続的な視覚的物語を組み合わせた高品質な生産様式は、ドキュメンタリー制作やジャーナリズムに通常紐づく品質マーカーを備え、視聴者が起源を知らずに接触した場合、正当な資源を持つ政治的コミュニケーションと区別する視覚的手がかりを持たない。
ケース2：TikTokにおける象徴的暴力とアルゴリズムによる過激化経路
このケーススタディでは4つのテーマ——(1)インセル/ブラックピル・ニヒリズム、(2)ミソジニーとフェムフォビア、(3)白人優越主義、(4)AIアニメーション「スロップ」のメタ物語——が抽出された。特に第4のテーマは規制議論において重要である。擬人化された動物のソープオペラ的物語が児童向けの美的様式・汎用ハッシュタグ・ユーモアを用いてコンテンツモデレーションを回避しつつ、性的強制・人種化された恐怖・象徴的暴力を上位物語として符号化する構造が確認された。
バーナーアカウントの追跡結果は、TikTokアルゴリズムが「wellness」や「health」といった無害な検索語からルックスマキシング（looksmaxxing、身体改造を通じて男性の魅力を高めることを目指すインセル発祥の自己改善運動）コンテンツへ、さらにインセル・ブラックピル関連コンテンツへと段階的に誘導する経路を示した。ルックスマキシング動画は美貌・富・強さに基づく「アルファ」男性像を礼賛する一方、American PsychoのPatrick BatemanやPeaky Blindersの暴力的ギャング、Taxi DriverのTravis Bickleといった反英雄的映画キャラクターの編集動画を経由してインセル的言説へと接続する。研究チームはこれらの動画の平均エンゲージメントが「いいね」2万～20万件、保存3千～5万件に達し、コメント欄には自己嫌悪や希死念慮の表明が頻出したと報告する。
擬人化アニメーションについては特に詳細な分析がなされている。女性コード化された擬人化フルーツや動物が別の種の男性コード化された相手と性的関係を持ち、妊娠して元のパートナーの元に戻るという定型的物語構造が繰り返し確認された。女性キャラクターは欺瞞的で悪意ある存在として描かれる一方、男性キャラクターは「アルファ」と「ベータ」のカテゴリーに分かれ、権力的で支配的な存在か、不当に裏切られる誠実な提供者として描かれる。研究チームはこれらの物語が異種交配（動物）や異品種交配（果物）を本質的に悪いものとして描く点を、男性優越主義・白人優越主義双方に見られる「人種混交」への反発と並行するものと位置づけている。
ケース3：Instagramマノスフィアミームの分析
Instagram上のマノスフィア関連ミーム56点の分析から、(1)女性の価値の条件付き・取引的な性質、(2)反フェミニズムと家父長制回帰、(3)ユーモアを介したジェンダーに基づく暴力、(4)男性支配と関係性コントロールという4テーマが特定された。頻度分析では家父長制、人間関係、ステレオタイプ、反フェミニズム、スラットシェイミング(slut-shaming)が最頻出テーマであった。
特筆すべきは、暴力を娯楽化する手法の分析である。広く認知されたアニメキャラクターの薄笑いを浮かべた表情に、家庭内暴力を関係性紛争への合理的解決策として提示するテキストを重ねた投稿は、20万近い「いいね」と23万9千のシェアを獲得した一方、再投稿はわずか2件にとどまった。ポップカルチャーの図像を用いることで暴力への感情的距離が生まれ、支持を明示的に表明する再投稿の少なさとは裏腹に、娯楽として広く共有される構造が確認された。研究チームはJane(2017)の「e-bile」概念（暴力的・侮辱的なコンテンツがユーモアを介して共有可能になる現象）を援用し、この手法が支配の伝達とモデレーション回避を同時に達成する意図的な修辞戦略であると分析する。カジュアルなインフルエンサー風の美学、ポップカルチャー参照、郷愁的な家庭表現、ジム的な男性性の記号がこれらの敵意を和らげ、常識的なユーモアや助言であるかのように見せかける構造も指摘されている。
ケース4：自動モデレーションの限界——SightEngineによる検証
コンテンツモデレーションツールSightEngineを用いた検証は、ルールベースのパターンマッチングが持つ根本的な限界を明らかにした。ワークフロー1（暴力・ヘイト検出）、ワークフロー2（武器検出）、ワークフロー3（テキストベースの過激主義・武器用語検出）を保守的な感度閾値で運用した結果、武器の検出、単語レベルのスラング検出、静止画のAI検出については概ね良好な性能を示した一方、白人・男性優越主義の暗示的物語や移民に関する誤情報・ステレオタイプ描写の検出は一貫して失敗した。
具体的には、極右アカウント@EuropeInvasionnの画像10点のうち5点がテロ関連画像として陽性判定されたが、そのうち3点はパレスチナ・トルコ・パキスタンの国旗やアラビア語表記を誤ってテロの指標と解釈した誤検出であった。逆に、明示的な爆発物ベストやライフルを描いた2点は検出されなかった。プロパガンダ用AI人格Ameliaの動画13本のうち7本が暴力・武器・軍事要員として陽性判定された一方、Ameliaが自らを「white preservationist」と名乗り「white supremacist」という語を直接使用した動画は、テキストベースの過激主義指標として検出されなかった。
研究チームが最も強く問題視するのは、パキスタン人男性・女性を身体的欠陥を持つ姿で生成し「彼らは近親交配を好む」というテキストで正当化する描写、インド人男性が遺体を川に投棄する様子、バングラデシュの子供がゴミで溢れた通りで遊ぶ様子、アフリカ人女性が不衛生な容器で水を運ぶ様子を白人性の文明性と対比させる描写が、いずれもSightEngineによって一切検出されなかった点である。視覚的・テキスト的な非人間化の組み合わせが生む表象的害悪は、ルールベースのパターンマッチングやキーワード依存の検出手法では捕捉できないことを示している。さらにAI検出機能自体の精度についても、写実性の高い動画ほどAI生成である確率を低く判定する傾向（71%対92～99%）が確認され、黒人男性がスイカとフライドチキンで警察の網に誘い込まれる映像や、女性がジェンダー化された種目（「掃除機競走」等）を競うオリンピック風映像がSora（OpenAIの動画生成ツール）の透かしを含みながらAI生成である可能性を著しく低く判定される事例も報告された。
英国・カナダの法規制における欠陥
英国のOnline Safety Act(2023)は、児童性的虐待・性的暴力・親密画像虐待・テロリズムといった既存の違法行為に焦点を当てる一方、生成AIに関する具体的な規定を欠く。OfcomはAIチャットボットが同法の対象となるのはユーザー対ユーザー型サービスや検索サービスとして機能する場合、あるいはポルノコンテンツを公開する場合に限られると明確化しており、多くのスタンドアロン型チャットボットが規制の対象外となっている。2025年末から2026年初頭にかけてのGrok/Xの事例では、画像編集機能の公開から11日間で300万件の性的画像が生成されたと推計され、サービスベースの規制枠組みが持つ執行の追いつかなさが露呈した。
カナダでは、2021年に提案されたOnline Harms Act(Bill C-63)が「扇動する(incite)」「助長する(foment)」といった語を用いることで、既存の成文化された犯罪類型を超えた暗示的害悪への対応可能性を示していたが、2025年1月の議会解散に伴い審議が終了した。2026年6月10日に提出されたBill C-34(Safe Social Media Act)は、AIチャットボットを独立した規制対象カテゴリーとして位置づけ、人間を装う行為の禁止や自殺念慮表明時の危機介入サービスへの誘導義務を課す点で、英国のOnline Safety Actよりも踏み込んだ枠組みを提示している。もっとも両国とも、EUのAI Act(2025年8月より一般目的AI規則が適用開始)に相当する専門的なAI立法を欠いており、非合意性親密画像に偏重した個別対応にとどまっている。カナダのProtecting Victims Act(Bill C-16)は非合意性ディープフェイクへの対応拡張と48時間以内のプラットフォーム削除義務を定めるが、非人間化コンテンツや偽情報、少数派集団への憎悪扇動を含む広範な表象的害悪への対応は依然として制度的空白のままである。
提言と結論
報告書は技術面・政策面双方にわたる提言を提示する。技術面では、訓練データの出所と範囲の透明化、事前・事後双方の安全性テストの継続実施、害悪を「誤用」ではなく「設計上の問題」として捉える視座転換、AI生成コンテンツへの義務的な透かし・ラベリング（実写とAI生成の混成コンテンツを含む）、キーワードや既知の記号のみに依存しない文脈考慮型の自動モデレーションの拡充を挙げる。政策面では、リスクベースモデルに基づく専門的AI立法の整備、アルゴリズムによる増幅とプラットフォーム設計への保護規定の強化、モデル起因の害悪への迅速な国際協調対応、累積的な害悪を認識できる規制枠組みの構築、拘束力ある国際規制協調の追求が提言されている。
本報告書が一貫して強調するのは、genAIによる視覚的害悪の多くが違法性という既存の法的枠組みの外側、すなわち「暗示」を通じて機能するという構造的特質である。人種化された住宅危機の描写が「現実を記録している」、十字軍の象徴が「遺産を祝福している」、移民への報復的動員が「愛国心」として提示される——個々の要素は単体では弁護可能でありながら、累積的効果としての過激化経路を構成する。この特質こそが、既存のモデレーション技術および国内法制がAI駆動の害悪に対して構造的に後手に回っている根本原因であると報告書は結論づける。
コメント