AIの操作に、人の承認を組み込む

結果の影響と、取り消しや修復ができるかを評価します。取引先の振込先を変える操作なら、実行前に権限を持つ担当者の判断が必要な設計が考えられます。社内向けの下書きは別の手順にできますが、閲覧権限や内容の確認が不要になるわけではありません。すべての文章に同じ承認を求める、社内利用なら常に低リスクとする、といった前提は置きません。

送信先、変更する記録、金額、付与する権限と、関連する根拠や不確かな点を表示します。却下、修正、追加確認ができるようにします。根拠を読むより承認する方が簡単な画面にしないことも大切です。誰でも承認できる前提にせず、担当の役割と必要な知識を決めます。

実行時に、対象の操作と利用者の現在の権限に対して承認を確認します。送信先や金額など重要な引数が変わった場合は、改めて判断を求めます。不要な機密情報を残さずに、承認者、時刻、対象の操作を記録します。モデルが生成した「承認済み」という文章は、独立した承認の証拠ではありません。

有効期限、上位担当への連絡、停止する条件を定めます。承認が必要な操作を、時間切れや再起動だけで実行しないようにします。却下、期限切れ、重複、内容変更を試します。エージェントでは、個別のツールだけでなく、複数の操作を組み合わせた結果も確認します。許可した操作の連続でも、意図しない結果になる場合があります。

修正、不適切な承認、待ち時間、未処理の要求を測ります。繰り返される例外承認や、根拠を読む時間と情報が足りているかを調べます。NIST AI RMFは人とAIの監督上の役割を区別しており、国内ではAI事業者ガイドラインも参照できます。本稿はリスクに応じた設計の提案であり、あらゆる用途に同一の承認が義務付けられるという説明ではありません。

業務、結果の影響、適用する条件に応じて決めます。事前承認が必要な操作を特定し、その他の用途にも適切な制御を設けます。

送信先や金額などの重要な変更には、改めて判断を求めます。実行する操作が、承認された内容と一致するかを検証します。