LLMの版・量子化・再現性を確認する

モデルのリリース、可能ならファイルのハッシュ値、トークナイザー、アダプター、指示のテンプレート、生成設定を記録します。外部サービスでは版の識別子と変更方針、自社運用ではライブラリー、ドライバー、機器も確認します。同じモデル名や接続先であることだけでは、構成が変わっていないとは判断できません。

重みは、学習によって得られたパラメーターです。通常の推論は重みを使って出力を計算し、指示や検索文書は入力の文脈を変えます。基礎モデルを再学習する処理とは異なります。ただし、アダプター、外部の記憶、明示的な追加学習などを含むシステムもあるため、これらは別に記録します。

低い精度で表現するとメモリを減らせますが、品質と速度は方式、モデル、実行環境、機器によって変わります。ビット数だけで実用性の順位は決まらず、すべての指標が必ず悪化するわけでもありません。日本語・英語の業務、構造化出力、ツール、長い入力で比較し、量子化の方式を検証した構成の一部として記録します。

PyTorchは、リリース、プラットフォーム、機器をまたぐ完全な再現性を保証していません。乱数シードや決定的な処理の設定も、あらゆる環境での完全一致を証明するものではありません。同じトークンが必要なのか、変動の範囲や品質の基準で判断するのかを決め、繰り返しと構成変更の試験を行います。

共通APIや外部の知識保管先を使うと、一部の依存は減らせますが、モデルが同じように動くとは限りません。情報の抽出、根拠の利用、指示、ツールの権限、形式、安全性を再検証します。別のモデルを評価役に使う場合も、その評価方法を確認する必要があり、別モデルであるだけで正解の根拠にはなりません。

評価用データ、期待する根拠、採点方法、構成、失敗例を保存します。単一のベンチマークだけでなく、品質、遅延、メモリ、費用を比較します。ライセンスと更新の責任も記録し、基準を満たしたことと、既知の構成に戻せることを確認して公開します。

完全一致を保証するものではありません。実行環境、数値の扱い、機器なども影響します。必要な再現性を決め、対象の環境で検証します。

ビット数だけでは判断できません。選んだ方式を、実際の機器と実行環境で、業務の品質、速度、メモリの条件に照らして評価します。