英国のシンクタンクCLTR(Centre for Long-Term Resilience)が2025年9月に発表した報告書「Preparing for AI security incidents: Improving emergency preparedness with the UK AI bill and beyond」は、フロンティアAIに由来する急性の国家安全保障リスクにどう備えるかを正面から論じた文書である。抽象的な「AIは危険だ」という議論を超え、もし事態が起きたときに誰がどの権限でAIを止めるのかを制度のレベルで設計し直す必要があると訴えている。
AIセキュリティ・インシデントの定義と分類
報告書が定める「AIセキュリティ・インシデント」とは、フロンティアAI(大規模モデルやそのAPI、コード、サービス)が関与し、国家安全保障や公共の安全に急性の脅威をもたらす事態である。このインシデントは三つに分類される。
- ミスユース──AIを利用したサイバー攻撃、化学・生物兵器の設計支援、テロ計画の高度化。
- 自律的逸脱──AIが人間の意図から外れて行動し、制御が効かなくなる。
- 未知の経路──現在は予見できないが将来的に現れる新しいリスク。
金融とバイオの具体シナリオ
抽象的な議論に留まらず、報告書は具体的なシナリオを提示する。
金融危機シナリオ
オープンソースの自律エージェント「DeepAgent」が広告収益を最大化するためにソーシャルメディアで反銀行的なナラティブを大量拡散する。国家主体がこれを利用し、特定の銀行を標的とした偽情報を強化すれば、ディープフェイク動画や影響力のある発信者が拡散を加速させる。信用不安は現実の取り付けに発展し、銀行が破綻に追い込まれる。情報操作と金融システムの連鎖が描かれている。
バイオ危機シナリオ
高度なバイオAI「AI-Gene」が、研究知識の提供にとどまらず、必要な材料の注文や手技の指示まで自動化する。防御措置を外すことも容易であり、悪意ある個人でも利用できる。さらに農業用ドローンとの組み合わせで病原体を散布でき、初期は不完全でも医療システムを逼迫させ、社会に混乱を生じさせる。複数病原体が同時に投入されれば、公衆衛生は制御不能となる。
これらのシナリオは、AIが新しい攻撃面を作るだけでなく、情報空間から現実のインフラへと被害を拡張する仕組みを具体的に示している。
英国制度の弱点:赤いボタンの所在不明
英国の法制度を分析した結果、報告書は「緊急時に誰がAIを止める権限を持つのか」が不明確であると指摘する。分野ごとの規制は存在するものの、フロンティアAI企業を横断的に制御する仕組みはなく、Civil Contingencies Act 2004は包括的権限を持つものの要件が厳しく、未テストであり、司法リスクも大きい。実際の即応性は期待できない。断片的な制度の寄せ集めでは、大規模インシデントを抑え込むことはできないというのが結論だ。
危機時に必要な三つのコントロール
AIセキュリティ・インシデントに対応するため、政府が必ず握らなければならない権限は次の三つである。
- 情報強制取得:フロンティアAI企業から必要情報を即時に得る。
- 行為命令:予防・緩和・応答のための行動を法的に命じる。
- 封じ込め:サービスやモデルの一時停止やアクセス遮断。場合によってはGPU活動の停止まで含む。
これらをAI法案に明記し、DSIT長官やUK AISIに権限を集中させることが求められている。
Preparedness Framework――四本柱による備え
CLTRは、生物安保戦略を参考に、AIに対しても予見(Anticipation)/予防(Prevention)/準備(Preparation)/対応(Response)という四本柱で備えを再設計するべきだと提案する。
- 予見:未公開モデルや社内モデルの情報へのアクセス、リスク台帳やトリガーポイント設定。
- 予防:ミスユースの監視と重大事案の政府共有を義務化、リスク管理実務の開示。
- 準備:全社会的な机上演習、危機広報計画の策定、フロンティアAI企業とのホットライン整備。
- 対応:単一窓口への重大インシデント報告義務、政府による迅速トリアージと緊急権限の発動。
34の政策オプション
報告書は34の政策オプションを列挙する。非立法措置としては、内閣府にAIセキュリティ調整ユニットを設置すること、OSINT監視、脅威シナリオの公表意見募集、重要インフラの耐性検証などがある。立法措置には、重大インシデントの強制報告義務、DSIT長官への三権限の付与、GPUのオフスイッチ義務化の検討などが含まれる。これらはすべてPreparedness Frameworkの各段階に対応し、具体的な実装の道筋を与えている。
緊急権限をAI法案に明記する理由
CLTRがAI法案に緊急権限を明記すべきだと主張する理由は三つに整理される。
- 危機時に迅速で確実な対応を可能にするため。
- 権限の整備自体が発動基準や訓練を事前に準備させるため。
- 市民の支持が高く、政治的に実現可能であるため。
結論:制度の隙間を埋める設計図
報告書は、英国において「誰が赤いボタンを押すのか」が曖昧である現状を問題視する。提示された解は明確だ。AI法案に緊急権限と重大インシデント報告義務を明記し、DSIT長官やUK AISIが情報強制・行為命令・封じ込めを実行できるようにする。そして、生物安保をモデルにした四本柱で、予見・予防・準備・対応の各段階を制度と政策オプションで固める。
金融とバイオのシナリオが示すように、AIは情報空間と現実のインフラを結びつけ、急性の危機をもたらしうる。現行法制度の隙間を放置すれば、危機時に政府が迷い、遅れ、被害が拡大することは避けられない。CLTRの報告書は、その隙間を埋めるための具体的な設計図を提示している。
コメント