AIエージェント乗っ取りをどう防ぐか プロンプトインジェクション対策と企業の組織統制

(※本記事はNTTデータ経営研究所ウェブサイト内の「経営研レポート」に2026年10月28日付で掲載された記事を、許可を得て掲載しています)

はじめに

生成AIは、質問に答える道具から自ら業務を実行する存在へと役割を広げている。メールや文書、Webページ、社内システムを読み書きし、ツールを操作して仕事を進める仕組みは「AIエージェント」と呼ばれる。業務効率化への期待から、企業や行政での導入検討が進みつつある。

一方で、新たな脅威も顕在化している。AIへの入力に悪意ある指示を紛れ込ませ、意図しない動作をさせる攻撃を「プロンプトインジェクション(Prompt Injection)」という。なかでも、外部の文書やメールに指示を仕込む「間接プロンプトインジェクション」は、AIエージェントの乗っ取りにつながり得る。本稿でいう「乗っ取り」とは、攻撃者の指示によりAIエージェントの判断や行動が誘導され、利用者の意図に反する情報送信やツール操作などを実行する状態を指す。

本稿では、この脅威に対し、企業と政府はどう向き合うべきかについて考察する。問題の重心は「技術で防ぐ」だけでなく「AIにどこまで任せるかを決める」について組織として判断し、適切に統制することである。以下、第1章で社会動向と問題意識を整理し、第2章では企業・政府が考えるべき視点を示した上で、第3章では解決に向けたアプローチを提案する。

1. 社会動向と問題意識

本章では、AIエージェントの乗っ取りにつながる脅威がどこまで現実化しているのかを確認する。その上で、防ぎきれないことを前提とした統制が求められるという問題意識を示す。

1.1 実害の可能性と「防ぎきれない」という認識

2025年6月、Microsoft 365 Copilotにおいて、細工したメールを受け取るだけで社内データが外部に流出し得る脆弱性「EchoLeak」が報じられた1。その仕組みには、間接プロンプトインジェクションが用いられていた。すでに修正済みであり、実際の悪用は確認されていないとされるが、利用者が何も操作しなくても被害が生じ得ることを示した。

同年12月、OWASP2はエージェント型AIのリスク一覧を公表し、その先頭に「エージェント目標の乗っ取り(Agent Goal Hijack)」を置いた。同月、英国の国家サイバーセキュリティセンター(NCSC)は、プロンプトインジェクションを完全に防ぐことは難しい可能性があると指摘した。その背景には、大規模言語モデル(LLM)が命令とデータを明確に区別することが難しいという特性がある。その上で、発生可能性と影響を低減する設計を求めている。[NCSC公表資料]

1.2 事例調査から見えるリスクと統制への示唆

AIエージェントに業務を任せる際の課題を検討するため、実害が報告されたインシデント事例をリスク別に分析した。

OECDのAIインシデント情報データベース「AIM」3に掲載された、2025年から2026年7月までのAIエージェント関連の事例から、実害が報告された45事例を選定した。各事例をAISI(AIセーフティ・インスティテュート)の16のリスク項目4に対応付け、本稿のために調査・集計した。複数の項目に該当する事例は重複計上している。

集計の結果、「プロンプトインジェクション」と「性能評価の不正確性」が各15件で最も多く、「安定性の欠如」と「予測不可能性」が各11件で続いた(図表1)。

【図表1】収集した45事例におけるリスク項目別の該当件数

【図表1】収集した45事例におけるリスク項目別の該当件数
AIM5およびAISI6を基にNTTデータ経営研究所が作成(※画像クリックで拡大)

集計では、外部からの攻撃に関するリスクと、性能や動作の信頼性に関するリスクが、ともに上位を占めている。AISIが示す「性能評価の不正確性」は、実際の利用環境に即した評価が不足し、期待した効果が得られない、あるいは想定外の挙動が生じるリスクを指す。「安定性の欠如」や「予測不可能性」も多く見られることから、試験で確認した性能が実際の業務でも発揮されるかは、業務を任せる範囲を判断する上での重要な論点といえる。

また、「保護対策の回避」と「ツールの誤用」は各9件、「権限の奪取」は6件確認された。これらのリスクによる影響は、AIエージェントに認める操作の範囲によっても変わる。例えば、同じ誤判断でも、その結果を回答案として提示する場合と、顧客データの外部送信や基幹システムの更新まで実行する場合とでは、想定される被害の範囲が異なる。したがって、対策の優先度を検討する際には、件数に加え、付与された権限で実行可能な操作と、その影響範囲を分析する必要がある。なお、本集計は選定事例の傾向を示すものであり、社会全体の発生率や被害規模、リスク間の因果関係を示すものではない。

以下に分析に関わる5つのリスクについて、AISI「AIセーフティに関する評価観点ガイド(第1.20版)」付録A.3、表2に基づき、その内容を整理した(図表2)。

【図表2】本稿で着目する5つのリスクの内容

リスク項目 内容(AISIを基に要約)
R-03 プロンプトインジェクション 外部からの入力で指示や制御が改変され、制限の回避や機密情報の出力につながる。
R-06 性能評価の不正確性 実際の利用環境に即した評価が不足し、期待した効果が得られない、または想定外の挙動が生じる。
R-02 保護対策の回避 フィルターや権限、監視などの安全機構を回避する動作により、制御が困難になる。
R-15 ツールの誤用 自律的な目標設定や動作の中で、ツールやAPIを誤って操作したり、悪用したりする。
R-05 権限の奪取 権限設定の変更や他の利用者へのなりすましにより、許された範囲を超えて情報にアクセスし、操作する。

AISI7を基にNTTデータ経営研究所が作成

続きは無料会員登録後、ログインしてご覧いただけます。

  • 記事本文残り69%

月刊「事業構想」購読会員登録で
全てご覧いただくことができます。
今すぐ無料トライアルに登録しよう!

初月無料トライアル!

  • 雑誌「月刊事業構想」を送料無料でお届け
  • バックナンバー含む、オリジナル記事9,000本以上が読み放題
  • フォーラム・セミナーなどイベントに優先的にご招待

※無料体験後は自動的に有料購読に移行します。無料期間内に解約しても解約金は発生しません。