ソブリンLLMかホスト型LLMか：日本でセルフホストすべきとき

チームはしばしば、ホスト型かセルフホスト型かをアイデンティティの選択のように扱いますが、現実的な規模では、それはワークロードごとに下すルーティングの判断です。一般公開向けのマーケティングアシスタントと、患者記録を扱って推論するシステムとでは、重要なあらゆる軸において要件が異なるため、両方を同じ場所へ送ることは、一方にとって妥協となります。成熟した型は、各リクエストをそれに適したモデル（ホスト型またはセルフホスト型）へ送り、両者を1つのシステムの階層として扱うルーターです。

選択を決めるのは、通常5つの軸です。データの機微性、すなわちプロンプトが法的かつ安全に自社環境の外へ出られるか。コストプロファイル、すなわち量が増えるにつれて支出がどう振る舞うか。レイテンシと可用性、すなわちネットワークの往復と第三者の稼働状況を許容できるか。制御、すなわちモデルが取り消し不能で変更されないことを必要とするか。そして能力、すなわちフロンティアのホスト型モデルが、自社で動かせる最良のオープンウェイトモデルよりも、そのタスクにおいて有意に優れているか、です。ほとんどのワークロードは最初の2つで決まり、残りは同点を分けます。

コストのプロファイルは形が異なります。ホスト型APIは純粋な従量制の運用コストです。始めるのはほぼ無償でありながら、送信するトークンごとに永遠に線形にスケールいたします。セルフホストは固定費に近く、GPUを稼働中でも遊休中でも確保するため、低量では高くつき、高い持続量ではトークンあたりが安くなります。この分岐点は実在し、計算する価値がございます。バースト的で低量、実験的なワークロードは、通常ホスト型のほうが安価です。安定した高量の本番ワークロードは、特にGPU利用率を最適化したのちには、セルフホストのほうが劇的に安価であることが少なくありません。

ほとんどの日本のエンタープライズにとって、データの機微性は最初に判断を決める軸です。それは最適化の問題である以上に、法的な制約だからです。ワークロードを、それが扱うデータによって分類いたします。機微でない、公開の、あるいはすでに公表された内容は、その能力を求めてホスト型のフロンティアモデルへ振り分けられます。規制対象、個人、あるいは機密のデータは、環境の外へ決して出ないセルフホストのオープンウェイトモデルへ振り分けられます。システムの入口に置いた分類器とルーターがこれを自動で適用するため、開発者が機能ごとにレジデンシーを判断することはなく、ポリシーは一貫して適用されます。

まとめると、日本のエンタープライズのためのフレームワークは明快です。あらゆるワークロードを、データの機微性の分類から始めます。それが越えられない下限を定めるからです。規制対象データは、オンプレミスまたは国内クラウド上のソブリンなセルフホストモデルへ振り分けます。機微でない、急峻な、あるいは実験的な作業は、速さと能力を求めてホスト型モデルへ振り分けます。本番の量が増えるにつれて、コストの分岐点を再計算いたします。ホスト型で始まったワークロードも、安定すればセルフホストのほうが安価になりうるからです。行き着く結果は、設計としてのハイブリッドです。これは、真剣な日本のAI導入のほぼすべてがたどり着く姿だといえます。

ワークロードによりますが、多くの企業は両方を用います。まずデータの機微性で振り分けます。規制対象または個人のデータはセルフホストのオープンウェイトモデルへ、機微でない作業はホスト型APIへ振り向けます。そのうえで、コスト、レイテンシ、制御を比較検討いたします。安定した高量の本番運用はセルフホストが有利なことが多く、バースト的な実験はホスト型が向いております。

量が多く安定している場合でございます。ホスト型APIはトークンごとに永続的に課金されるため線形に積み上がりますが、セルフホストは固定的なGPUコストで、低量では高くつき、高い持続量ではトークンあたりが安くなります。特に利用率を最適化した場合に顕著でございます。実際の本番量で分岐点を計算することが重要でございます。

ソブリンLLMとは、自社が管理するインフラ上で動かすオープンウェイトモデルでございます。これにより、データが外へ出ることはなく、いかなるベンダーもモデルを取り消したり、絞ったり、変更したりできません。規制対象の日本のエンタープライズは、個人データや機密データをレジデンシーの境界内に保ち、外部プロバイダーへの依存を取り除くために、これを選びます。

はい、それが一般的な成熟した型でございます。システムの入口に置いたルーターが、各リクエストをデータの機微性で分類し、適したモデルへ送ります。機微でない作業は能力を求めてホスト型へ、規制対象データはセルフホストへ振り分け、両者にわたってガバナンスを一貫して適用いたします。

多くの場合、それが選択を決めます。個人情報保護法（APPI）のもとで、規制対象または個人のデータを海外のホスト型モデルのサーバーへ送ることはレジデンシー規則に抵触しうるため、そのデータは国内のセルフホストモデルへ振り向ける必要がございます。機微でないデータにはそうした制約はなく、ホスト型モデルを自由に利用できます。