自社の設備でオープンウェイトLLMを運用する

モデルのリリース、重み、トークナイザー、追加のアダプター、用途を特定します。利用や再配布の条件を確認してください。重みをダウンロードできるだけで、OSIが定義するオープンソースAIになるわけではありません。モデルやパッケージ、更新を環境内に取り込む方法と、確認する担当も決めます。

パラメーター数をP、各値を表すビット数をbとすると、重み自体の概算はP×b÷8バイトです。実際の形式では、精度の混在や追加情報があります。推論には実行環境、キャッシュ、同時リクエストの領域も必要です。量子化による品質や速度の変化は、方式、モデル、機器で異なるため、負荷試験で確認します。

モデルの取得、埋め込み、ツール、ライセンス確認、通信記録、ログ、バックアップ、遠隔サポートを一覧にします。外部への通信を制限する設計なら、明示的に設定して検証します。ネットワークを分離する場合も、承認した更新と障害対応の手順が必要です。自社運用だからすべてオフラインとは限らず、アクセスや個人情報の管理も残ります。

検証で使った重み、実行環境、ドライバー、指示、設定を記録します。モデルの更新、脆弱性への対応、再起動、復旧を公開前に試します。共通の提供インターフェースを使っても、動作や必要な容量は変わる場合があります。既知の構成と、戻すことを承認する担当を決めます。

利用するリリースと用途について、ライセンスを確認します。利用や再配布に条件がある場合があり、オープンウェイトとオープンソースAIは同じ意味ではありません。

設置場所だけでは証明できません。連携、ツール、ログ、通信記録、バックアップ、サポートを確認し、必要な通信制御を設定して検証します。