AIベンダーを評価する際に確認すべき六つの点
導入をご検討の段階で、ベンダーに何を確認すべきか。AI事業者ガイドラインVer1.2を踏まえ、審査の観点を六つに整理いたします。社内での評価基準としてそのままお使いいただけます。
AIを用いた製品の評価は、機能の比較だけでは完結いたしません。処理の所在、人による確認の組み込み方、誤りが生じた際の対応、契約終了時の持ち出し。いずれも導入後に変更することが難しく、選定の段階で確認しておく必要がございます。本稿では、実際の審査で用いられている観点を六つに整理してご説明いたします。
口頭の説明ではなく、文書で確認する
審査の実務では、説明の巧拙ではなく、提出された資料が判断材料になります。個人情報がどこを通るかを示したデータフロー図。どの判断を人が承認するかを明記した文書。障害発生時の連絡先と手順を定めた資料。いずれも精緻である必要はございませんが、会議の前に文書として存在している必要がございます。口頭の回答は記録に残せないためです。会議では明快に答えられたものの、後日提出できる資料が何もないというのが、最もよく見られる不備です。
処理の所在が、適用される法令を決める
最初に確認すべきは処理と保管の所在地です。個人情報保護法の適用範囲は、どこで処理し、どこに保存し、越境が生じるかによって定まります。推論が海外リージョンでのみ実行され、変更の選択肢がないという回答であった場合、その時点で法務部門による検討が必要になり、案件は数か月停止いたします。国内で処理を完結させる選択肢が用意されているか、費用がかかるとしても提供可能かを、早い段階でご確認ください。
人の判断が、業務フローのどこに入るか
総務省と経済産業省が2026年3月31日に公表したAI事業者ガイドラインVer1.2は、AIの利用が実証実験から社会実装の段階へ移ったことを前提としております。同版はAIエージェントとフィジカルAIを新たに定義し、人間の判断を必須とする設計思想を明記いたしました。確認すべきは、どの判断点で人の操作がなければ処理が完了しない仕組みになっているか、という点です。お客様側で承認フローを追加できるという回答は、製品としてその機能を備えていないことを意味いたします。
誤った場合の手順が定まっているか
確認すべき点は四つございます。誤りをどのように検知するか。検知までにどの範囲へ影響が及びうるか。誰に、どの程度の時間内に通知されるか。どのように復旧するか。精度が高いという説明は、この四点のいずれにも答えておりません。精度は平常時の性質にすぎないためです。検知の指標、通知の経路、復旧の手順が文書化されているベンダーは、組織として障害を想定していると判断できます。
契約終了時に何を持ち出せるか
移行可能性は、商務条件ではなく安全性の論点としてご確認ください。撤退できない状態は、その製品が自社の用途に適さないと判明した際に、対応する手段がない状態と同じです。データの出力形式、設定やチューニング結果が移行後も維持されるか、出力に要する期間。契約書上の約束よりも、実際に実行された手順書のほうが確度が高い材料です。
六つの観点を、そのまま評価表にする
処理の所在、人の判断の位置、誤りへの対応、入力側の防御、出力側の防御、契約終了時の持ち出し。この六項目を評価表として最初の技術会議でお渡しになると、比較の基準が揃い、選定の期間が短くなります。回答できないベンダーが直ちに不適格というわけではございません。ただ、どの項目に不足があるかを把握したうえで導入されるのと、把握しないまま導入されるのとでは、その後の負担が大きく異なります。
// 要点
押さえておきたいポイント
- 審査で判断材料になるのは口頭の説明ではなく提出資料です。会議前に文書が存在しているかをご確認ください。
- 処理と保管の所在地が、個人情報保護法の適用範囲を決めます。国内完結の選択肢の有無を最初にご確認ください。
- Ver1.2は人間の判断を必須とする設計思想を明記しております。人の操作なしに処理が完了しない箇所をご確認ください。
- 誤りへの対応は、検知、影響範囲、通知、復旧の四点で評価できます。
- 移行可能性は商務条件ではなく安全性の論点です。実行済みの手順書があるかをご確認ください。
- 六つの観点を評価表として最初にお渡しになると、比較基準が揃い選定期間が短くなります。
最終更新:
