RAGで使うデータを新しく保つために

元の記録、抽出した文章、埋め込みベクトルは、異なる表現です。一つを更新しても、他が自動的に更新されるとは限りません。抽出、埋め込みの生成、索引の更新をどう実行し、版を対応付けるか決めます。削除や公開を取り下げた文書も対象です。同じデータベースに置く場合も、更新や無効化の設計が必要です。

SingleStoreは、近似最近傍検索を含むベクトル索引に対応しています。近似の設定、絞り込み、データの分布で速度や検索結果は変わります。日本語、製品コード、実際の業務質問を使って、ベクトル、キーワード、組み合わせた検索を比較します。他社のベンチマークや順位だけでは、自社の検索精度は分かりません。

利用者とテナントの権限に従い、参照できる情報だけをモデルに渡します。検索クエリに加え、キャッシュ、出典表示、ログ、出力にも確認が必要です。元データベースの権限が、索引やアプリケーションに自動で引き継がれるとは限りません。自社で検索基盤を動かす場合も、外部の埋め込みやモデルのサービスを利用するなら、その送信先を確認します。

必要な根拠が見つかるか、回答が正しいか、出典が合っているか、根拠が足りないときに回答を控えられるかを確認します。変更や削除が反映されるまでの時間も、キャッシュを含めて測定します。更新された規程、矛盾する文書、他の利用者の情報を求める質問などで検証してください。

自動で更新されるとは限りません。更新の検知、埋め込みの生成、索引やキャッシュの無効化を設計し、変更と削除を検証します。

防げるとは限りません。適切な根拠が検索されるか、モデルが根拠に沿って答えるか、根拠不足を判断できるかを分けて評価します。