Mistral Large 4 重みと Hugging Face ガイド
計画されている重みのリリースを追跡し、モデルカードを確認し、ダウンロードとデプロイのニーズを見積もってください。
このページの内容
リリース状況
10月の公式6発表では、オープンウェイトの公開を10月末に予定しています。そのスケジュールは、ファイルがすでに利用可能であることの証拠にはなりません。実際のモデルリポジトリについては、公式発表とMistral AIのHugging Face組織をご確認ください。
適切なリポジトリの特定
公開元、正確なモデル識別子、リビジョンを確認してください。リポジトリ名だけでは、それが公式であることは確定しません。モデルカード、対応アーキテクチャ、ファイル一覧をお読みください。移動するブランチではなく、コミットまたはリビジョンを固定してください。
ダウンロード前の確認
リリースされたリポジトリのライセンスを確認してください。以前のモデルのライセンスを想定しないでください。ファイルのチェックサムと想定サイズを検査してください。元のウェイト、変換アーティファクト、キャッシュ、ロールバック用コピーのディスク容量を計算してください。検証されていないミラーのスクリプトは実行しないでください。
メモリ見積もり
1.05Tパラメータのモデルには、パラメータあたり2バイトで約2.1 TB、1バイトで1.05 TB、または半バイトで525 GBが必要です。これらはウェイトのみの算術的な見積もりであり、テスト済みのGPU構成ではありません。量子化メタデータ、ルーティング、KVキャッシュ、ランタイムのオーバーヘッドにより合計は増加します。アクティブなパラメータは、すべてのエキスパートウェイトを保存する必要性を減らしません。
フレームワークの準備状況
ランタイムが正確なアーキテクチャと量子化フォーマットをサポートしていることを確認してください。トークナイザーの互換性、エキスパートの配置、画像処理、マルチデバイス通信をテストしてください。長いコンテキストを試す前に、短いプロンプトと既知の画像を使用してください。
デプロイチェックリスト
- リポジトリのリビジョンとライセンスを記録する。
- 変換前にダウンロードしたファイルを検証する。
- 現実的な入力でメモリ、レイテンシ、スループットを測定する。
- リクエスト制限とキャンセル動作を設定する。
- 認証情報を公開コードの外に保管し、必要な診断のみをログに記録する。
ウェイトが利用できない場合
アクセス権がある場合は、実験に公式APIをご利用ください。このワークスペースはウェイトを配布しておらず、セルフホストのLarge 4デプロイのベンチマークは行っていません。ハードウェアの予算を立てる前に、ローカルデプロイガイドをお読みください。