2026年10月27日 10:11 AM

信頼を考慮した AI 向け制御の構築: 信頼されていないコンテンツを区別した取り扱い

※本ブログは、米国時間 10 月 13 日に公開された ‘Building Trust-Aware Controls for AI: Differentiated handling of untrusted content’ の抄訳です。

組織が生成 AI を日々のワークフローに取り入れるにつれて、アクセス制御、ID、データ保護に関する従来のモデルには当てはまらない、新たな種類のセキュリティ上の課題に直面するようになっています。中でも最も重要な課題の 1 つが、間接プロンプト インジェクションです。これは、AI システムがタスクの一環として処理する可能性のあるメール、ドキュメント、メッセージなど、本来は正当なコンテンツに埋め込まれた悪意のある指示を指します。

そうしたコンテンツが信頼されたプロンプトとともにモデルに渡されると、システムは埋め込まれた指示をデータではなくコマンドとして扱ってしまう可能性があります。これはモデルの動作に影響を及ぼし、意図しないデータの漏えい、応答に含まれる不正確な情報、その他の悪影響といった結果を招く一因となるおそれがあります。

こうした攻撃は、完全に既存のアクセス許可の範囲内で発生する可能性があります。システムはそのコンテンツへのアクセスを許可されており、認証、アクセス ガバナンス、データ損失防止などの従来の制御は設計どおりに機能し続ける一方で、推論時のリスクには対処されないままとなる場合があります。

AI システムにおける構造上のギャップ

従来のコンピューティング システムでは、ハードウェアによる分離、特権命令セット、アクセス制御モデルなどの階層化された構造的な制御を使用して、特定の種類の攻撃ベクトルにさらされるリスクを軽減しています。

多くの生成 AI アーキテクチャでは、指示とデータは、単一の表現形式による入力ストリーム内のトークンとして表現されます。従来のコンピューティング システムとは異なり、ニューラル ネットワークは、指示とデータの間にこれと同等の構造的な分離をそれ自体では提供しません。このアーキテクチャの違いによって、セキュリティ モデルは根本的に変わります。信頼されていないグラウンディング コンテンツに埋め込まれた悪意のある指示は、本来の指示とともに処理されることになります。

この問題の深刻さは、業界のガイダンスにも表れています。OWASP Top 10 for LLM Applications 2026 では、プロンプト インジェクションが、LLM アプリケーションにおけるアプリケーション レベルのセキュリティ リスクの第 1 位にランク付けされています。分類子ベースのフィルタリング、入力のサニタイズ、強化されたシステム プロンプトなどの既存の軽減策によって、間接プロンプト インジェクションにさらされるリスクを軽減できます。プロンプト インジェクションに関連するセキュリティの脆弱性の多くは、個別の修正では軽減が難しく、攻撃パターンのバリエーションによって再発するおそれがあるため、継続的なセキュリティ リスクとなっています。これらの手法はリスクを軽減しますが、単一の軽減策ですべての間接プロンプト インジェクションの試みを防げるわけではありません。Microsoft の多層防御戦略の一環として、この新しいアプローチは、推論時に決定論的な適用レイヤーを追加することで、これらの軽減策を補完します。

新たな方向性: 信頼を考慮した決定論的な制御

近年の研究では、コンテンツに対し、その出所に基づいて事前定義された制約を適用するアーキテクチャ上のアプローチが検討されています。これらのアプローチでは、確率的な検出だけに頼るのではなく、明確な信頼境界を維持する決定論的な制御を導入しています。研究論文をご覧ください。

このアプローチは、M365 Copilot において、取得されたコンテンツ (ツールの出力) とプライマリの大規模言語モデルとの間に、決定論的な適用レイヤーを導入するように設計されています。このレイヤーは、信頼されていないソースからのコンテンツがモデルのコンテキストに入る前に、そのコンテンツを処理することに特化して設計された信頼境界を確立します。

信頼を考慮した AI 向け制御の構築: 信頼されていないコンテンツを区別した取り扱い

信頼を考慮した処理の仕組み

信頼を考慮したコンテンツの取り扱い

M365 Copilot がグラウンディング データを取得すると、システムは決定論的なシグナルを使用して、コンテンツを信頼されたコンテンツと信頼されていないコンテンツに分類します。

たとえば、組織外からのメールなどの外部コンテンツは、組織の信頼境界を越える際に、ポリシーによって信頼されていないコンテンツとして分類できます。この分類によって、プロンプト インジェクションのリスク低減に役立つ、実用的でスケーラブルなシグナルが得られます。

隔離と制約付き処理による権限の分離

信頼されていないコンテンツは、プライマリ モデルに直接渡されるのではなく、隔離され、機能が制約された処理パスを経由します。そこで、コンテンツはユーザーのクエリのコンテキストに基づいて処理され、変換された表現になります。この変換は、悪意のあるコンテンツを除外しながら有用な情報を保持することを目指しており、プライマリ モデルに提示できる情報を制限することで、攻撃対象領域を縮小します。

これにより、悪意のある指示が利用できる攻撃対象領域が縮小され、後続の推論に引き継がれる可能性のある情報が制限されます。

出所 (来歴) を考慮した処理

システムは、コンテンツが信頼されていないソースに由来する場合に、そのことを示す明示的な出所 (来歴) マーカーを追加できます。この出所情報を保持することで、後続の処理でコンテンツの出所を考慮できるようになり、応答に入力の信頼特性を反映させやすくなります。

より安全な応答の合成

プライマリ モデルは、次の情報を使用して応答を生成します:

  • 信頼されたコンテンツ (変更されずにそのまま渡される)
  • 信頼されていないコンテンツを変換して構造化した表現

これにより、プライマリ モデルが信頼されていない入力にさらされる度合いが減り、タスクに関連する情報を保持して有用性を維持しながら、悪意のある指示が結果に影響を及ぼす可能性を低減できます。

例: メール経由のプロンプト インジェクション

隠された指示や埋め込まれた指示を含む、日常的なビジネス メールを例に考えてみましょう。ユーザーが AI アシスタントに受信トレイの要約を依頼すると、システムはそのメールを取得し、メールの内容をシステム プロンプトとともにモデルに渡します。すると、埋め込まれた悪意のある指示がモデルの出力に影響を与える可能性があります。

このようなケースでは、アクセス ポリシーの違反やデータの不適切な取り扱いは発生していません。システムは設計どおりに機能していますが、推論時に、要約すべきデータと実行すべき指示を区別できない場合があります。

決定論的な制御が間接プロンプト インジェクションのリスク低減に役立つ仕組み

このアーキテクチャでは、オーケストレーション パイプライン内の定められたポイントで一貫した制御を適用します。従来のアプローチが共有の入力空間内で悪意のある動作を特定しようとするのに対し、このアプローチは、その空間を情報がどのように流れるかを制約します。

適用レイヤーは、次の機能を提供します:

  • 決定論的なシグナル: 信頼されていないコンテンツは、決定論的なシグナルを使用して、オーケストレーション パイプライン内の固定されたポイントでインターセプトされます。
  • 構造化された受け渡し: 信頼されていないコンテンツは変換され、ユーザーのプロンプトに基づいて、無害なコンテンツが保持される一方で、悪意のあるコンテンツが除去されます。

このアプローチは、信頼されていない入力の忠実度と、それらが及ぼし得る制御の範囲の両方を低減することで、システムが基になるデータへのアクセスを許可されている場合でも、間接プロンプト インジェクション攻撃が成功する確率を下げます。

今後の展望

Microsoft 365 Copilot では、新しい適用レイヤーの導入を進めています。初期の投資は、外部とのコミュニケーションを含む、リスクの高いコンテンツに重点を置いています。追加のコンテンツの種類とソースへの対象範囲の拡大に加え、よりきめ細かな信頼モデルをサポートするための、エンタープライズのシグナルやポリシー システムとのより緊密な統合についても検討しています。

テナントでこの保護を構成するには、信頼されていないコンテンツの識別に使用される、該当する Outlook の送信者設定を有効にし、CVE-2026-55145 の構成ガイダンスをご確認ください。提供状況と動作は、リリースの状況やテナント環境によって異なる場合があります。

間接プロンプト インジェクション攻撃の増加は、AI セキュリティにおけるより広範な変化を浮き彫りにしています。この取り組みは、明示的な信頼境界、制約付き処理、決定論的な適用という基本的なセキュリティ原則を、AI の推論レイヤーに取り入れるものです。

生成 AI が進化し続ける中で、こうしたアーキテクチャの進歩は、エンタープライズ AI システムを設計段階からより安全で、信頼性が高く、信頼に値するものにするのに役立ちます。

Join the conversation

プライバシーに関する選択のオプトアウト アイコン プライバシーに関する選択
コンシューマーの正常性のプライバシー Microsoft に問い合わせ プライバシー 特定商取引法に基づく表示 Cookie の管理 使用条件 商標 広告について