LLMの入力・出力検査と、ツールの実行権限を確認する

プロンプトインジェクションは、利用者の入力から直接行われる場合と、文書やWebページなどを経由する場合があります。ジェイルブレイクは安全上の制限の回避を狙うもので、直接の攻撃すべてを指す言葉ではありません。外部の内容とアプリケーションの指示を区別し、実際に受け付ける言語と形式で攻撃を試します。RAGやシステムプロンプトだけで解消する問題ではありません。

権限のない記録を取得してから、モデルに隠させる方法にはしません。検索する段階で、文書とテナントの権限を適用します。他社の請求書を求める質問、権限を取り消した文書、複数の資料を組み合わせる回答を試してください。出力の検査は追加の対策であり、権限の確認を代替しません。

出してはいけない情報と、受け付けない形式を定義し、検出した場合に削除するか、回答を止めるか、人に回すかを決めます。秘密らしい文字列の検出だけで、すべての秘密情報を見つけたとは証明できません。根拠の確認は、形式や機密情報の検査とは別に行います。出力制約を通った回答でも、数値や出典が誤っている場合があります。

書き込みや外部へのリクエストを実行する前に、利用者、操作、対象、引数を検証します。ツールには業務に必要な権限だけを与えます。例えば振込先の変更など、リスク評価で選んだ操作には人の承認を求めます。モデルが「承認済み」と回答したことを、承認の記録として扱いません。

既知の攻撃と通常の業務を使い、不正な出力、過剰な拒否、確認作業の負担を測定します。モデル、指示、データ、検査設定の版も記録します。共通ゲートウェイで検査する場合は、迂回できないか、アプリケーションごとの権限が適用されるかも試します。共通の検査を置くだけで、すべての経路やツールが保護されるわけではありません。

検査には見逃しがあります。文書の閲覧権限、ツール実行時の検証、見逃した場合の影響も含めて評価します。

ツールを実行するコードで、利用者、操作、対象、引数を検証します。モデルの「許可された」という出力を承認として扱いません。