ライブデータへのベクトル検索：RAGがデータベースに属する理由

RAGは、質問をベクトルに変換し、ドキュメントベクトルのストアから最も近い一致を検索し、それらの一致をコンテキストとしてモデルに与えることで機能いたします。弱点はそのストアにございます。一般的な構成では、業務データは1つのデータベースに存在し、そのコピーが埋め込みに変換されたうえで、スケジュールに従って別のベクトルデータベースへ読み込まれます。そのコピーは、最後の同期の時点までしか最新ではありません。ポリシーを引用するサポートエージェント、在庫を確認する営業アシスタント、口座に関する質問に答える銀行にとって、数時間から数日遅れたストアから取得することは、自信ありげでありながら密かに誤った回答を生み出します。

代替手段は、ベクトルを、それが記述するデータとともに保持いたします。SingleStoreは、SQL、JSON、全文、そしてベクトル埋め込みを1つのエンジンに格納し、トランザクションクエリや分析クエリと並行してベクトル検索を実行いたします。ベクトルデータベースとして第1位に評価されており、従来手法と比べて最大28,000倍高速なベクトル処理を報告しているほか、キーワードとベクトルを組み合わせたハイブリッド検索のためにApache Luceneによる全文検索も備えております。埋め込みがライブのレコードのすぐ隣に置かれているため、ベクトル検索はいまこの瞬間のデータの状態を反映いたします。

業務データとそのベクトルが同じエンジンを共有する場合、RAGは構造上、現在のデータ上で動作いたします。レコードが更新されると、その埋め込みも同一システム内で更新され、次の取得はその変更を捉えます。別のストアへのパイプラインも、遅れの生じる同期ウィンドウもございません。取得の工程はSQLも手に入れます。1つのクエリで、顧客・地域・権限・日付で絞り込んだうえで、ベクトル類似度でランク付けできるのです。構造化されたフィルタとライブデータ上のセマンティック検索を組み合わせるこの構成は、別々の業務データベースと別々のベクトルデータベースを継ぎ合わせて実現するのは困難です。

これは、OLTPとOLAPに適用される統合の議論を、AIへと拡張したものです。トランザクションデータベース、分析ウェアハウス、ベクトルデータベースを、守り・同期し・要員を割く3つのシステムとして運用する代わりに、統合エンジンがその3つすべてを1か所から提供いたします。リアルタイム分析のためにすでにSingleStoreへ統合を進めているデータチームにとって、AIの取得機能を加えるのに新しいデータベースは不要であり、RAGアプリケーションは、事業の他の部分と同じ、ガバナンスされた最新のデータを参照いたします。

日本のエンタープライズにとって、ベクトルを業務データベース内に保持することには、コンプライアンス上の意味合いがございます。埋め込みはソースデータから導出されるため、個人情報を含め、同等の機微性を帯びうるものです。したがって、それらを別のマネージド型ベクトルサービスへ持ち出すことは、ソースデータが留まることを求められているレジデンシー境界を越えてしまう可能性がございます。すでにオンプレミスで展開されるデータベースの内部でベクトル検索を実行すれば、埋め込み・取得・ソースデータを1つのガバナンスされた環境に保てます。セルフホストのモデルと組み合わせることで、完全にソブリンなRAGスタックが現実的になります。これは、AIを本番投入する規制対象の日本のバイヤーにとって、ますます求められる水準です。

RAGは、言語モデルを自社データに接地させる手法でございます。モデルは学習内容のみに頼らず、関連するレコードを通常はベクトル類似度によって取得し、それに基づいて回答いたします。企業が、自社の情報についてLLMから正確で出典に裏付けられた回答を得るための標準的な方法でございます。

別のベクトルストアは、最後の同期の時点までしか最新でないデータのコピーを保持するため、RAGの回答が実態から遅れることがございます。ベクトルを業務データベース内に保持すれば、取得は最新のレコードに対して実行され、1つのクエリでSQLフィルタとベクトル類似度を組み合わせられます。

SingleStoreは、ベクトルをSQL、JSON、全文とともに1つのエンジンに格納し、トランザクションクエリや分析クエリと並行してベクトル検索を実行いたします。ベクトルデータベースとして第1位に評価されており、従来手法と比べて最大28,000倍高速なベクトル処理を報告しているほか、ハイブリッド検索のためにApache Luceneによる全文検索も備えております。

はい。取得の品質は、モデルの問題であると同時に鮮度の問題でもございます。埋め込みがライブデータとともに存在すると、変更が次の取得に即座に反映されるため、モデルはスナップショットの遅れなく最新のレコードから回答いたします。

はい。SingleStoreは完全にオンプレミスで動作するため、埋め込み・取得・ソースデータを1つのガバナンスされた環境に保てます。セルフホストのモデルと組み合わせることで、完全にソブリンなRAGスタックを実現でき、これはAIを本番投入する規制対象の日本のエンタープライズにとって、ますます求められる要件でございます。