LLMの回答を、実際の業務で評価する

請求書の抽出なら、取引先、金額、通貨、参照元の記録を確認します。問い合わせ対応なら、引用した規程がその顧客に適用されるか、約束していない支援を回答していないかを確認します。日本語の業務用語、曖昧な質問、情報不足、閲覧権限も試験に含めます。調整用の例と最終評価用の例は分けます。

形式、必須項目、数値の範囲はコードで検証できます。決まった識別子は一致を確認できますが、同じ意味の表現が複数ある場合には配慮が必要です。文章や埋め込みが似ていることだけで、事実が正しいとは判断できません。意味、網羅性、誤りの影響を問う部分では、出典と業務に詳しい担当者による確認を組み合わせます。

LLMによる評価を調べた研究では、回答の提示順、長さ、自己評価への偏りなどが報告されています。すべての評価モデルが同じ誤り方をするとは限りません。採点基準を作り、担当者の評価と比較し、意見が分かれた例を確認します。評価モデルと指示の版を結果と一緒に保存します。人の評価にも、共通の基準と不一致を解決する方法が必要です。

正しく終えた作業、修正、担当者への引き継ぎ、応答時間、受け入れた結果一件あたりの費用を測ります。事実性の点数だけから、問い合わせを何割削減できるかは決まりません。業務別と重要な失敗の種類別に集計します。平均点が高くても、少数の要求で重大な誤りが起きていないか確認します。

保存するログと意見、閲覧できる担当、削除時期を、収集前に決めます。必要に応じて機密情報を除去します。本番で起きた失敗を調べ、適切な例を再試験に加えます。低評価が付いたことだけで、回答の誤りが確定するわけではありません。どの版の設定が回答を生成したかを説明できる記録も残します。

類似した文章や埋め込みでも、事実が誤っている場合があります。業務に必要な事実と出典を別途確認します。

採点基準、偏り、担当者の評価との一致を検証する必要があります。業務と誤りの影響に応じて、人の評価を組み合わせます。