Kubernetesで、割高にならずにLLM推論を提供する

学習はバースト的で有限です。実行は一定期間GPUを激しく消費し、その後終了いたします。推論は、あらゆる面でその正反対です。モデルはひとたび本番に入ると、リクエストを継続的に処理し、アプリケーションが存続する限り処理し続けます。現実的な規模では、推論に割り当てられるGPUは、学習に使われるGPUを数の上でも稼働期間の上でも上回るため、推論がAI基盤のライフタイムコストを支配するようになります。サービスが動くすべての時間にわたって積み重なる、わずか数パーセントの推論効率は、一度きりの大きな学習コスト削減を上回るのです。

推論のトラフィックが平坦であることはめったにございません。営業時間、キャンペーン、タイムゾーンに従い、静かな谷と鋭いピークを描きます。ここで誘惑に駆られる対処は、ピークに足るだけのGPUを確保し、そのまま動かし続けることですが、それはすべての谷の間もピーク容量に対して支払い続けることを意味いたします。代替手段はオートスケーリングです。トラフィックが増えればレプリカを追加し、減れば削減し、遊休モデルはゼロまでスケールさせることで、めったに使われないモデルはGPUを一切保持いたしません。ピークが訪れる前にその立ち上がりを予測する予測型オートスケーリングは、学習よりも推論において一層重要です。スパイク時のレイテンシの取りこぼしは、ユーザーに直接見える失敗となるためです。

推論ワークロードの多くは、GPUを丸ごと必要とはいたしません。1つのモデルレプリカは、カードのメモリと計算能力のごく一部しか使わないことが多く、それぞれに1基を専有させると、その大部分が無駄になります。フラクショナルGPUは、MIGによる分割やソフトウェアスライシングにより、多数の小さなモデルやレプリカが、相互に分離された状態で1基の物理GPUを共有できるようにいたします。各モデルを、そのレイテンシ目標を満たす最小のスライスへと適正化し、それらのスライスを密に詰め込むことは、多くの場合、推論コストの単一で最大の削減となり、しかもアプリケーションからは見えません。

推論は、レイテンシ・スループット・コストの三者間のトレードオフです。リクエストをバッチ処理するとスループットが上がり、リクエストあたりのコストが下がりますが、レイテンシは増えます。バッチを小さくすれば逆になります。目標は、レイテンシ要件を満たしたうえで最も安価な構成ですが、それはトラフィックやモデルの変化とともに移り変わります。まさにここで、ProphetStorのFederator.ai GPU Boosterは推論側に焦点を当てております。より高いスループット、より低いレイテンシ、そしてゼロのメモリ不足イベントを狙うことで、サービスはより少ないGPUでレイテンシ目標を維持できるのです。

日本のエンタープライズにとって、推論の請求額は、固定された年間予算と予測困難な本番負荷とがぶつかる地点に生じます。パイロットでは安価なモデルも、ひとたび稼働すると提供コストが高くつくことがあり、1年前に組まれた予算に対する超過は社内的に通りにくいものです。オートスケーリング、フラクショナルGPU、適正化による効率的な推論提供こそが、本番のLLMを予算の内側に収めます。そして推論は多くの場合、他のすべてと同じ規制対象データ上で動くため、Kubernetes上でオンプレミス提供することは、ソブリンなモデルを応答に至るまでソブリンに保ちます。

学習は一度きりのバーストですが、推論はアプリケーションが存続する限り継続的に動きます。規模が大きくなると、推論を提供するGPUは学習に使われるGPUを数でも稼働期間でも上回るため、推論がライフタイムのGPU支出を支配するようになります。小さくとも継続的な推論の効率化は、一度きりの大きな学習コスト削減を上回ります。

オートスケーリングによってでございます。トラフィックが増えればモデルのレプリカを追加し、減れば削減し、遊休モデルはゼロまでスケールさせてGPUを保持させません。予測型オートスケーリングは、立ち上がりが起きる前にそれを予測いたします。スパイク時のレイテンシの取りこぼしはユーザーに直接見えるため、これは推論において特に重要でございます。ProphetStorのFederator.aiがこれを提供いたします。

はい。ほとんどの推論レプリカは、GPUのメモリと計算能力のごく一部しか使いません。フラクショナルGPUは、MIGによる分割やソフトウェアスライシングにより、多数の小さなモデルやレプリカが、分離された状態で1枚の物理カードを共有できるようにいたします。適正化と密な詰め込みは、多くの場合、推論コストの単一で最大の削減となります。

推論はレイテンシ・スループット・コストのトレードオフでございます。バッチ処理はスループットを高めリクエストあたりのコストを下げますが、レイテンシは増えます。目標は、レイテンシ要件を満たしたうえで最も安価な構成でございます。ProphetStorのGPU Boosterは、推論側でより高いスループット、より低いレイテンシ、そしてゼロのメモリ不足イベントを狙います。

はい。Kubernetes上でオンプレミス提供することで、ソブリンなセルフホストモデルを応答に至るまでソブリンに保ち、規制対象データが環境の外に出ることはございません。効率的な提供と組み合わせることで、本番のLLMを日本の固定IT予算の内側に収められます。