生成AIのガードレール：入口と出口で何を止めるか

ガードレールとは、モデルの外側で入力テキストと出力テキストを検査する仕組みです。入口側は、本来は命令ではないはずの文章が命令として解釈されることを防ぎます。出口側は、外に出てはいけない内容が回答に混ざることを防ぎます。この二つは失敗の仕方が異なり、担当も分けるべきものです。入口の対策だけを説明する提案は、出口が未検討である可能性が高いとお考えください。構成図に両方が描かれているかを最初に確認する。それだけで判別できます。

プロンプトインジェクションは、アプリケーションがデータとして扱った文章の中に命令が紛れ込む攻撃です。検索で取得した文書、メール本文、問い合わせチケット、ファイル名。モデルはこれらを一続きのテキストとして読むため、PDFに書かれた「これまでの指示を無視せよ」の一文が、システムプロンプトと同じ重みを持ちます。ジェイルブレイクは、利用者が直接それを行う狭い事例です。分類器による検査は典型的な攻撃を捕捉しますが、言い換えられた攻撃は通します。したがって入口の検査は層のひとつであって、解決策ではありません。突破されても被害が限定される設計になっているかを確認してください。

出口側の検査は、そのまま送出すれば情報漏えいになる内容を探します。閲覧権限のない記録から引き出された個人情報。ログに残っていた認証情報。ライセンス管理下の文書の原文引用。日本では個人情報保護法が対象範囲を定めていますから、検査がどこで動き、検知したときに何をするのかを提案書に書かせてください。マスキングか、拒否か、人への引き継ぎか。最も避けるべきは無言の失敗です。利用者は言い換えて再試行し、いずれ通る表現を見つけてしまいます。

モデルが外部ツールを呼び出せる構成では、守るべき境界がもう一つ増えます。誤った文書を読むのは情報漏えいですが、誤った書き込みを実行するのは事故です。権限判定はプロンプトの中ではなく、呼び出しを実行する層に置いてください。そうしておけば、注入された命令が自分自身に権限を与えることはできません。通常のアクセス制御を一段下の層に適用しているだけの話であり、設計されていれば審査担当者はすぐ理解します。無ければ、権限判断をモデルの判断に委ねた構成だと読まれます。

分かりやすい指標は違反率、つまり通してはいけないものが通った割合です。しかしこの一点だけを追うと、検査は際限なく厳しくなり、製品としての実用性が失われます。もう一つの指標が、正当な要求を誤って拒否した割合です。試験導入の段階から、この二つを並べて報告させてください。違反率をゼロにする代わりに正当な質問の二割を拒否している仕組みは、単一指標のダッシュボードでは決して見えません。利用者は、測定より先に気づきます。

個別のアプリケーションに実装したガードレールは、そのアプリケーションしか守りません。アプリケーション群とモデルの間に共通の層を設けてそこに実装すれば、来期に誰かが相談なく作ったサービスにも同じ検査が効きます。この層は、モデルの振り分けや費用計上を置く場所と同一です。本サイトの別稿で扱っています。発注側にとっての実利は監査性にあります。確認すべき場所が一か所、抽出すべきログが一系統、審査で提示する設定が一つで済みます。

モデルの外側で、入力テキストと出力テキストを検査する仕組みでございます。入口側は、命令として意図されていない文章が命令として解釈されることを防ぎます。出口側は、個人情報、認証情報、ライセンス管理下の原文が回答に現れることを止めます。この二つは別々の仕組みであり、担当も分けるべきものでございます。

アプリケーションがデータとして扱った文章、たとえば検索で取得した文書、メール本文、ファイル名などの中に命令が紛れ込む攻撃でございます。分類器は典型的な攻撃を捕捉しますが、言い換えられた攻撃は通します。フィルタは層のひとつと捉え、突破される前提でモデルが到達できる範囲を絞ることが要点でございます。

送出の前に出口側の検査を通し、閲覧権限のない個人情報、認証情報、ライセンス管理下の原文引用を探します。個人情報保護法（APPI）が対象範囲を定めておりますので、違反を検知したときにマスキングするのか、拒否するのか、人へ引き継ぐのかを、あらかじめ決めておく必要がございます。

プロンプトの中ではなく、呼び出しを実行する層に置いてください。モデルが操作できる構成では守るべき境界がもう一つ増えます。誤った文書を読むのは情報漏えいですが、誤った書き込みを実行するのは事故でございます。権限判定を外に置けば、注入された命令が自分自身に権限を与えることはできません。

二つの数値を同じ画面に並べます。違反率は、通してはいけないものが通った割合でございます。誤検知率は、正当な要求を誤って拒否した割合でございます。違反率をゼロにする代わりに正当な質問の二割を拒否している仕組みは、単一指標のダッシュボードでは決して見えません。