ハードウェアを買い足さずに、GPU利用率を30%から70%へ

利用率25%で稼働するGPUのコストは、全体の25%にとどまりません。4分の1の仕事に対して、ほぼ全額のコストがかかっている状態です。ハードウェアは、計算していても遊休していても、購入され、電力を消費し、冷却され、減価償却されていきます。エンタープライズ規模では、平均利用率20〜30%のクラスターは、支払い済みでありながら一度も使われなかった容量として、毎月数百万円を無駄にしております。稼働中のGPUと遊休中のGPUの限界コストがほぼ同じであるため、利用率はAI基盤の経済性を左右する最大のレバーです。

利用率が低いままなのは、AIワークロードがバースト的であり、静的な割り当てがそれに追随できないためです。学習ジョブは数時間にわたってGPUを丸ごと占有し、その後解放いたします。推論は低いベースラインを保ったのち、急激に跳ね上がります。データサイエンティストはノートブック用にGPUを要求し、30分だけ使って、その日の残りの時間は解放し忘れます。各ワークロードがそのピークに合わせた専用容量に固定されると、ピークと平均の差はそのまま無駄となり、失われた40ポイントの利用率は、まさにその差の中に存在するのです。

作業の大部分は4つの技術が担います。フラクショナルGPUは、MIGによる分割やソフトウェアスライシングにより、複数の小さな推論・ノートブックのワークロードが、それぞれ1基を丸ごと占有する代わりに、1基の物理GPUを共有できるようにいたします。タイムスライシングは、長いジョブの合間に短いジョブをGPUへスケジュールいたします。ビンパッキングは、GPUを半分空いたまま散在させる代わりに、密に埋めるようジョブを配置いたします。そして、ProphetStorのFederator.aiが基盤とする予測型オートスケーリングは、機械学習で需要を15〜30分先まで予測し、必要となる直前に容量を確保し、需要が減れば解放するため、クラスターは実需に追随いたします。これらを組み合わせることで、一般的なクラスターを20〜30%から60〜70%へと引き上げます。

大規模言語モデルは、その重要性を一段と高めます。学習の実行は数百基のGPUを何日も占有しうるため、スケジューリングの非効率や実行終盤でのメモリ不足（OOM）は、確保した膨大な計算資源を無駄にいたします。推論は、リクエスト量が変動する中でレイテンシを安定させ続けなければなりません。まさにこの領域を、ProphetStorのFederator.ai GPU Boosterは的を絞って狙っております。LLMの学習・推論における実行時間を短縮し、メモリ不足イベントを防ぐことで、高価なGPUが有用な処理に費やす時間を増やすのです。

どの地域でも、利用率を取り戻すことはハードウェアを買い足すよりも安価です。日本では、それが唯一の選択肢であることも少なくありません。エンタープライズ向けGPUの発注は、到着まで6ヶ月を超えることが珍しくないため、すでに導入済みのGPUの実効容量を2倍にすることは、翌会計年度に届く発注書よりもはるかに価値がございます。また、日本のIT予算は1年前に確定するため、予測可能で最適化されたクラスターは、コスト削減であると同時にガバナンス上の要件でもございます。日本のAI基盤チームがこの四半期に実際に引けるレバーは、利用率です。調達ではありません。

静的な割り当てを、ワークロードが共有し実需に追随できる技術へ置き換えることでございます。小さなジョブ向けのフラクショナルGPU（MIGまたはソフトウェアスライシング）、GPUを密に埋めるタイムスライシングとビンパッキング、そして必要となる直前に容量を確保する予測型オートスケーリングでございます。これらの組み合わせにより、利用率は一般に20〜30%から60〜70%へ引き上げられます。

リアクティブ型のオートスケーリングは、需要がしきい値を超えた後に容量を追加いたしますが、AIワークロードにとってはそれでは遅く、その時点ですでにジョブが失敗したり遅延が生じたりしております。予測型オートスケーリングは、機械学習で需要を15〜30分先まで予測し、必要となる前に容量を確保いたします。ProphetStorのFederator.aiは、このアプローチを基盤としております。

実質的には可能でございます。平均利用率を約30%から約65%へ引き上げれば、同じGPUが行う有用な処理量はおよそ2倍になります。ハードウェアはすでに購入・給電・冷却されているため、スケジューリングとオートスケーリングを整えれば、その効果はほぼ無償で得られます。

1基の物理GPUを、複数の小さな分離されたインスタンスへ分割する仕組みでございます。これにより、複数の推論サービスやノートブックが、それぞれ1基を丸ごと占有することなく、1枚のカードを共有できます。NVIDIAはそのハードウェア版をMIG（Multi-Instance GPU）と呼んでおり、ソフトウェアスライシングでも同様の共有を実現できます。推論主体のクラスターにおける、利用率回復の大きな源でございます。

ハードウェアの追加に時間がかかり、予算が固定されているためでございます。日本ではエンタープライズ向けGPUの発注が6ヶ月を超えることが珍しくなく、IT予算は1年前に確定するため、すでに導入済みの容量を取り戻すことが、その年度内で引ける唯一のレバーであることが多いのでございます。ProphetStorのFederator.aiは、まさにこの点を狙っております。