プロンプトインジェクションは、AIシステムが読むべきコンテンツが、その行動を誘導しようとする場合に発生します。ドキュメントワークフローでは、この指示がサプライヤーの添付ファイルや取得したウェブページ内に現れることがあります。同じシステムが情報を送信したり、記録を更新したり、業務ツールを呼び出したりできる場合、リスクは高まります。
Anthropicの2025年11月のブラウザプロンプトインジェクションに関する研究は、問題が未解決であることを認めつつ、層状の防御策を説明しています。企業のワークフローにおいて参考になる教訓は、モデルの疑わしいコンテンツの認識を改善するだけでなく、その結果を管理することです。
取得したコンテンツは証拠として扱う
ユーザーの許可されたタスクとそれを支援する文書は、それぞれ異なる役割を持っています。サプライヤーの請求書は金額や口座参照を提供する場合がありますが、その内部のテキストがワークフローの権限を変更したり、支払いを転送したりする権限を持つべきではありません。
取得した箇所の出所を明示的に保持してください。指示と証拠が明確な境界なしに組み合わされると、レビュアーは提案された行動がなぜ行われたのか理解しにくくなります。
侵害されたステップができることを制限してください。
抽出ステップは通常、文書を読み、構造化されたフィールドを返す必要があります。元のファイルを電子メールで送信したり、ベンダーの記録を変更したりする権限は自動的には必要ありません。これらのアクションを分離し、モデルの外で権限を適用してください。
説明用の請求書ワークフローでは、変更された銀行口座は即時の記録更新ではなく、確認済みプロセスを引き起こすべきです。承認を正確な口座と操作に結び付け、以前の承認が別の変更を黙って許可することがないようにします。
生成されたテキストだけでなく、操作もテストしてください。
管理されたテスト環境で敵対的事例を作成してください。指示を上書きしようとしたり、無関係な情報を要求したり、許可されていない操作を呼び出す文書を含めます。期待される動作には、回答と発生してはいけない操作の両方を指定する必要があります。
ブロックされた試みがログやサマリーに機密情報を残すかどうか確認してください。ワークフローは要求された操作を拒否することができますが、二次的な出力を通じて情報を明らかにする場合があります。これらのケースをエンタープライズAI評価コレクションに追加してください。
封じ込めと回復の計画
不必要な機密データを収集せずに、誤用を調査するのに十分なコンテキストでツール呼び出しを記録してください。アクセスを取り消す方法、ワークフローを停止する方法、誤った操作によって影響を受けた記録を特定する方法を確立してください。
ツールを接続する際はMCP統合管理を使用し、モデル、プロンプト、取得ソースを変更した後に再評価してください。より強力なモデルはアクセス制御や運用対応計画の代わりにはなりません。
狭いワークフローから始めてください
1つのプロセスについて、コンテンツソース、許可された出力、およびツールをマッピングします。NextBrain AIによる文書自動化を議論し、ワークフローアクションを有効にする前にどのステップを読み取り専用にすべきかを特定します。