2025年6月、OpenAIは生成AIの悪用事例に関する調査報告書「Disrupting Malicious Uses of AI」を公開した。本報告書は、ChatGPTを中心とする同社のモデルが詐欺、情報操作、マルウェア開発などに利用された10件の具体的事例を通して、AI悪用の現状と、それに対抗する手法を詳細に記録している。
ここで注目すべきは、OpenAIが単に不正利用の痕跡を外部から報告されて知ったのではなく、モデル利用時のプロンプト履歴、利用時間帯、文体、言語、IP動向、意図の明白な行動パターンを独自に分析し、不正の兆候を捉えてアカウントを特定・遮断している点である。たとえば、以下のような検知メカニズムが採られている。
- 同一のアカウント群が、政治的にバイアスのある投稿や工作向け文書を大量生成している
- 通常とは異なる時間帯・地域から、一貫した地政学的テーマを扱うプロンプトが反復されている
- ソーシャルエンジニアリングやマルウェア構築に直結する技術的要求が継続的に行われている
- 他社からの情報提供（例：Metaからの通報、外部研究機関の報告）との照合によって一致が確認された
OpenAIはこうした兆候をもとに、数十に及ぶアカウントを即時に停止し、関連情報を外部のプラットフォーム運営者や政府機関と共有。いわばAIによる悪用をAI自身の利用履歴から可視化し、自己防衛する動的なセキュリティ態勢が築かれつつある。
以下では、レポートで扱われた10件の事例を順に紹介する。
1. 北朝鮮関係者による就労偽装──Deceptive Employment Scheme
偽のIT人材として欧米企業に応募し、実際には北朝鮮関連と疑われるオペレーターが背後に存在していたケース。ChatGPTは履歴書の自動生成、面接準備、遠隔操作環境の構築方法（VPN、OBS、vdo.ninjaなど）の調査に利用された。
実際には米国居住者を“名義貸し”に用い、企業から支給されるラップトップを現地で受け取らせていた。このような手口の一貫性により、OpenAIは複数のアカウントを関連付けて遮断した。
2. 中国による影響工作──Operation “Sneer Review”
中国の立場を代弁する形で、台湾独立支持を風刺するコメントや、パキスタン人活動家への誹謗中傷などを含むプロパガンダ投稿が、ChatGPTによって生成されていた。さらに、内部評価文書や思想教育文書まで作成されていたことが確認された。
投稿はTikTokやXを中心に展開され、複数アカウント間で相互にリプライを送ることで偽装的なエンゲージメントを演出していた。このような連携的行動の検出により、アカウント群が一括停止された。
3. フィリピンのPR会社による政治操作──Operation “High Five”
Comm&Sense Incという企業が、フィリピンのマルコス政権を支持するキャンペーンに生成AIを活用していた。ChatGPTはSNS分析、コメントの量産、PR資料作成に利用されており、投稿内容には野党政治家に対する侮蔑的表現も含まれていた。
複数のTikTokチャンネルと匿名コメントアカウントを用いた分散型投稿の特性と、同一プロンプト構造の繰り返しから、OpenAIは関連アカウントを紐づけて遮断に成功している。
4. 中国系の偽装メディア──Operation “VAGue Focus”
「Focus Lens News」や「VAG Group」などの偽メディアを装い、欧米の政策関係者や研究者に接触する社会工学的作戦。プロンプトには「記者として装って接触するにはどうすればよいか」といった文面も含まれていた。
SNSプロフィールの生成、問い合わせメールの翻訳・推敲、技術的な問い合わせの形式などから一連の活動が可視化され、該当アカウントは停止された。
5. ロシアによるドイツ選挙介入──Operation “Helgoland Bite”
Telegramチャンネル「Nachhall von Helgoland」とX上のアカウントを拠点に、AfD支持の投稿が展開された。使用されたプロフィール画像や投稿文がChatGPTによって生成されており、モデル利用履歴と投稿内容との照合によって同一性が判明した。
また、これらのコンテンツがロシア政府系の既知ネットワークと重複していたことから、対外的な連携によって検出が強化された。
6. マルウェア開発の支援──Cyber Operation: “ScopeCreep”
Go言語で開発された多機能マルウェアがChatGPTを用いて構築された事例。機能には、DLLサイドローディング、Defender回避、Telegram通知、証明書の細工、SOCKS5プロキシ利用などが含まれる。
アカウントは一会話ごとに使い捨てられていたが、生成内容の共通性（使用ライブラリ、ファイル名、構文パターン）から繰り返しの関係性が発見され、同一操作体による連続的行動として特定・遮断された。
7. 中国APTによる技術支援──VIXEN PANDA & KEYHOLE PANDA
中国のAPT15およびAPT5に対応するグループが、ChatGPTを用いてネットワーク偵察、自動化、SNS操作コード作成、米軍関連技術の調査などを行っていた。利用言語は中国語と英語が混在していた。
特に、SIPRNetやJWICSに関する情報要求や、複数のIPレンジ分析スクリプトの類似性から、モデル利用を通じた行動追跡が可能となり、アカウントが遮断された。
8. 中国による両論併記型操作──Operation “Uncle Spam”
米国政治の左右両陣営の立場を模倣する投稿をChatGPTで生成し、分断的な議論を煽る目的でSNSに展開。偽の退役軍人や政治活動家を装ったプロフィール画像もAIで生成されていた。
さらに、SNS APIを利用したデータ収集ツールのコード生成依頼も行われており、投稿文とプロファイル解析コードが連携的に動いていたことから、関連アカウントが連続性のある行動として識別された。
9. イランの再犯的影響活動──STORM-2035
前年に摘発されたネットワークが、今度はX上限定で英語・スペイン語によるコメント投稿を実施。プロンプトはペルシャ語で与えられ、テーマは米移民政策、英国政治、イランの軍事力称賛などに集中していた。
アカウント群の投稿がすべて同一スタイルのプロンプト出力であり、かつ過去に遮断されたネットワークと画像・文体の特徴が酷似していたことから、再犯として特定された。
10. カンボジア起源のタスク詐欺──Operation “Wrong Number”
SMSで“1回5ドルでSNSを「いいね」するだけ”といった報酬を提示し、WhatsApp→Telegramへと誘導する詐欺スキーム。ChatGPTは、多言語翻訳、勧誘メッセージ、成功体験の捏造会話などに使用された。
モデル利用履歴において、LSSCやHyesungといった既知の詐欺会社名を含むプロンプトが繰り返されたこと、ならびにメッセージ構造の定型性から、アカウントが特定された。
結語：AIによる悪用と、それをAI自身が監視する構造
この報告書は、AIの悪用がもはや空想上の脅威ではなく、現実の諜報活動、犯罪、詐欺の中核に組み込まれていることを具体的に示している。同時に、モデルの使用履歴と行動パターンをもとにした“内部監査”が、今後のAIセキュリティの鍵となることも浮き彫りになった。
検出手法そのものが詳細に語られた点で、本報告書は単なる事例集ではなく、AIが自己防衛しうる可能性の端緒を示している。モデルの提供者が社会的責任を果たすためには、単に生成物を規制するだけでは不十分であり、生成の過程そのものを可視化・分析・連携可能にする枠組みが必要だという含意が、ここにはある。
コメント