実行するモデルは、なぜ今も重要なのか：重み、量子化、そして再現性

重みとは、学習の過程で獲得されるパラメータです。これはモデルの永続的な状態そのもの、すなわちパラメトリックな記憶であり、文法から世界の知識、推論やコーディングの能力まで、そのすべてがこれらの数値に暗黙的に符号化されております。推論は重みを変更いたしません。順伝播は重みを読み取るだけで書き戻すことはなく、文脈内学習、検索拡張、長いプロンプトが変えるのは文脈と活性であって、パラメータではありません。重みを変化させるのは学習、すなわち事前学習、指示チューニング、そして選好アラインメントです。したがって、ベースモデル、指示チューニング版、選好アラインメント版、アダプタ統合版は、同じ系統の中にあっても異なる成果物です。同じモデルファミリーであることは、同じ重みであることを意味いたしません。

バイト単位で同一の重みであっても、出力が同一である保証はございません。温度ゼロを超えるサンプリングはランダム性を加えますが、これは貪欲デコーディングで除去できます。残る要因はより厄介です。GPUの中核カーネルはバッチ不変ではないため、結果はリクエストがたまたま実行されたバッチサイズに依存し、これはサーバー負荷によって変動いたします。ハードウェアと数値精度も演算経路を変えます。証拠は明確です。温度ゼロにおいて、ある235Bのモデルは1000件の同一リクエストに対し80通りの異なる出力を生成し、最初の分岐は103トークン目に現れました。バッチ不変カーネルを用いると1000件すべてがビット単位で同一となり、速度低下は約1.6倍から2倍にとどまりました（Thinking Machines Lab、2025年）。16ビット精度では、シードを固定しGPUの種類、台数、バッチサイズのみを変えたところ、最大9パーセントの精度差が生じ、90パーセントの事例がハードウェア間で分岐いたしました。32ビットではわずか2.2パーセントでした（Yuan他、2025年）。ビット単位の再現性は、シードを固定すれば無償で得られる性質ではなく、工学的な達成です。

量子化は、メモリ使用量を削減するために重みをより低いビット幅で格納いたします。数字は圧縮レベルを表し、Q-Nはおおよそ1重みあたりNビットを意味し、値が小さいほど圧縮が強く忠実度は低くなります。8Bのモデルを16ビットの基準と比較した測定では、8ビットと6ビットはほぼ無損失、4ビットは小さいながらも実在するコストを伴い、4ビット未満では急激に劣化いたします。損失は一様には広がりません。数学的推論が最も敏感で、3ビットで約77.6パーセントから68.3パーセントへ低下し、4ビットで基準付近まで回復いたします。厳密な構造化出力と数値精度が最初に劣化し、常識推論はほとんど影響を受けません。大きなモデルは小さなモデルよりも圧縮に耐えます。実務上の原則は、ハードウェアに収まる最小限の圧縮で運用し、量子化をモデルバージョンの一部として扱うことです。量子化の変更は、別のモデルです。

安定したAPI名の背後で提供されるモデルは、固定された成果物ではありません。同一の名称を持つモデルの二つのスナップショットを3か月の間隔で比較した研究では、固定された課題における精度が約84パーセントから51パーセントへ低下し、書式の誤りが増え、指示追従が弱まりました。名称もバージョン番号も変わらないままです（Chen、Zaharia、Zou、2023年）。ベンダーが名称の背後で重みを静かに再調整または置換していたのです。この事態が起きると、そのエンドポイントの上に構築された評価基準と下流のパイプラインは、静かに壊れます。真の再現性には、ベンダーのエンドポイントではなく、自己ホスト型でバージョンを固定した重みが必要です。これは、コストやプライバシーを論じる前の、主権的で自己ホスト型の姿勢に対する、純粋に技術的な論拠です。

本質的な軸は、一つのモデルか多数か、ではありません。制御された変動か制御されない変動か、そして相補的な変動か希釈的な変動か、です。固定され自己ホストされた単一のモデルは、強い再現性と、すべてを一つの評価スイートで管理できる利点をもたらしますが、能力はそのモデルに上限を画されます。複数モデルの組み合わせは、いかなる単一モデルをも上回り得て、ルーティングとカスケードによってコストを削減できますが、それは各モデルが個々に強く、真に相補的である場合に限られます。この機微は鋭利です。あるベンチマークでは複数モデルのアンサンブルが単一の高性能モデルを65.1対57.5パーセントで上回りましたが、その単一最良モデルから複数のサンプルを集約したところ、混合アンサンブルを6.6パーセント上回りました。弱いモデルは混合を希釈いたします。異種構成の二つのコストは過小評価されがちです。プロンプトはモデル間で綺麗には移植できず、モデルを一つ加えるたびに、固定し、評価し、ドリフトを監視すべき対象が一つ増えます。異なるモデルを意図的に用いるべき一つの場面は検証です。自らの出力を評価するモデルには自己選好バイアスがあり、別の判定モデルがこれを軽減いたします。

知識は重みの内部に置くことも、推論時に外部ストアから供給することもできます。この区分は検索拡張生成の原点となる考え方であり、外部知識がパラメトリックな知識を代替し得るという証拠は強固です。ある検索拡張モデルは、大規模な外部データストアを条件として用いることで、知識集約型のベンチマークにおいて25倍のパラメータを持つモデル群に匹敵いたしました。他の手法はストアと生成器を分離し、再学習なしに知識を更新いたします。内部と外部の双方が利用可能な場合、検索拡張モデルは自らの記憶よりも外部の文脈を優先いたします。したがって知識の次元においては、モデルは交換可能な読み書きヘッドという汎用部品になります。更新の対象となるのは重みではなく、ストアの側です。これは当社が設計において志向するアーキテクチャでもあります。永続的でモデルに依存しない知識資産の下で、推論エンジンを更新し続けられるからです。

知識の外部化は現実的ですが、ストアが遮断しきれない二つの接合点で漏れが生じます。書き込み側では、抽出の忠実度がストアを構築するモデルによって定まり、その誤差は焼き付けられます。22のモデルを対象としたベンチマークは、構造的な適合ではなく値の忠実度こそが隘路であることを示しました。70Bにおいてもなお、値の誤りが不完全な実行のおよそ半分を占め、最も危険な失敗は、確信を伴い、スキーマ上は妥当でありながら事実として誤った出力です。下流のシステムは、それが構文解析を通るがゆえに信頼してしまいます。読み出し側では、同一の外部状態を与えられた二つのモデルが、その状態をどれだけ忠実に用いるかで分岐し、強いモデルほど自らの事前知識に固執し、供給された証拠よりも自らの誤った知識を信頼することがございます。実務上の帰結は次のとおりです。知識ストアはモデルの交換を越えて可搬ですが、抽出と忠実な読み出しは、モデルが変わるたびに再検証されなければなりません。書き込みが一度きりのストアはその誤差分布を永続的に受け継ぐため、最初に抽出器を正しくすることが重要です。