AI検索方式の選び方

ソースコードや整理されたファイル群のように、AIエージェントが中身を直接たどれる対象では、検索と読み込みを繰り返す「エージェント型探索」が適しています。事前に索引を作らないため、索引の陳腐化という問題がそもそも発生しません。原本の複製を別システムに持たない点は、統制やコストの面でも利点です。この種の業務に索引前提の構成を提案された場合は、なぜ直接探索ではないのか、根拠を確認する価値があります。

「どの部品が、どの調達先を経て、どの製品に影響するか」のように、複数の事実を組み合わせて初めて答えが出る質問があります。この種の業務では、関係性を明示的に持つグラフ構造と、複数方式を併用するハイブリッド検索の組み合わせが明確に優位です。エージェントに反復検索をさせるだけでは、この差は埋まりません。関係性が最初から記録されていないためです。該当する業務があるなら、提案書にグラフ設計が含まれているかをご確認ください。

社内検索の大半は、規程や手順書を探すといった日常的な問い合わせです。この用途には、軽量なエージェント型の検索か、一段階の補強を加えた単純な検索方式でおおむね足ります。ここに大掛かりなグラフ基盤を提案してくるのは、過剰投資の兆候といえます。高価な仕組みは、それを本当に必要とする質問のために取っておくべきです。導入費と運用費が業務の重さに見合っているか、その一点をまず問うてください。

ベクトル検索は意味の近さで文書を探すため、出現頻度の低い固有名詞に弱いという構造的な限界があります。型番、人名、社内システムのコード、行政の様式番号。日本の業務文書は、まさにこうした語であふれています。対策は昔ながらのキーワード検索を必ず併用し、意味検索と組み合わせるハイブリッド構成にすることです。検証の際は、自社の製品コードや取引先名で実際に検索してみることをお勧めします。数分で設計の質が分かります。

対象文書が少量で範囲が確定しており、応答に多少時間がかかっても支障がない業務では、検索を介さず文書全体をモデルに読み込ませる方式も成立します。ただし条件付きです。長い文脈の深い位置にある情報ほど回答の品質は落ちますし、関連情報をすべて読み込めたことと、正しく答えられることは別の問題です。契約書の確認や単一マニュアルの照会など、範囲を限った用途なら合理的な設計です。適用範囲と限界を自ら説明できるベンダーかどうかが、見極めの目安になります。

規制対象の大規模データや、細かな権限管理を伴うデータでは、検索精度より先に問うべきことがあります。データがどこで処理されるか、です。原則は、データの所在する境界の内側、基幹システムの隣で検索を動かし、既存の権限管理をそのまま生かすことです。外部サービスに索引用の複製を送る構成は、守るべきデータの置き場所を一つ増やすことを意味します。国内の残置要件や監査対応を考えれば、この点を最初に確認するのが発注側の定石といえます。

検索の精度が出ないとき、原因は埋め込みモデルより分割の仕方であることのほうが多く、しかも修正費用は桁違いに安く済みます。細かく切りすぎると、その断片を意味あるものにしていた文脈が失われます。粗く切りすぎると、取得した箇所の大半が余分な文章になり、一致の精度が薄まります。厄介なのは、万能の値が存在しないことです。対象文書群によって最適値は変わり、実験で見つけるほかありません。隣接する断片を少し重ねておけば、境界で分断された文を拾えます。提案を受けたら分割サイズとその根拠を尋ねてください。測定した結果なのか、既定値のまま出荷されたのかが分かります。

実運用の構成は二段です。まず安価な検索器が二十件から五十件程度の候補を広めに取得します。ここでの目的は、正解を取りこぼさないことです。次に、低速で高精度な再ランク器が候補を問い合わせに対して採点し、上位数件だけをモデルに渡します。文書群の全件に高精度な採点をかければ費用が成立しませんが、五十件になら日常的にかけられます。一段しかない設計は、再現率と適合率のどちらかを捨てているということです。

会話は検索を静かに壊します。ある取引先について尋ねた後、「その納期は」と続けると、主語のない問い合わせ文で検索が走ります。この追加質問を、検索器に届く前に単独で意味の通る文へ書き直せば、索引の不具合に見えていた失敗のかなりの部分が解消します。費用は小さなモデル呼び出し一回分です。日本企業の導入では早い段階でこの問題に当たります。求められる利用形態が、一問一答の検索ではなく対話型であることが多いためです。