サービス品質を保ちながらGPUの利用を改善する

計算の稼働、メモリ、待ち行列、入力データの処理、サービスの応答を時系列で確認します。学習、推論、対話的な作業は分けて把握します。平均値だけでは、ピーク、メモリの制約、配置の偏りは分かりません。一般的とされる利用率を、自社の測定値の代わりにしないようにします。

データの読み込み、CPUや通信の待ち、予約したジョブ、配置、モデルの準備を確認します。GPUを共有しても、別の箇所がボトルネックなら改善しない場合があります。処理の停止中に安全に解放できるか、待ち時間や中断を許容できるかも確認し、可用性と復旧の要件を残します。

ハードウェアによる分割、ソフトウェアによる共有、ジョブの配置では、対応条件と分離の性質が異なります。アクセラレーター、ドライバー、デバイスプラグイン、推論基盤を確認します。GPUの一部を割り当てる設定だけで、メモリや性能が独立して保護されるとは限りません。並列に動かす実際のジョブで競合を検証します。

品質と応答の条件を満たしたジョブやリクエストの数で、構成を比較します。必要に応じて電力、インフラ、ライセンス、運用作業も含めます。ProphetStorなどの予測型の製品も、効果を検証する選択肢です。新しい設定でサービスが悪化した場合に戻せる基準と手順を用意します。

必ずしも倍にはなりません。待ち時間や処理内容によって意味が変わるため、サービスの条件を満たした処理量で確認します。

対応する機器、メモリと性能の分離、配置の動作が異なります。実際のアクセラレーターとソフトウェアで検証します。