Mistral Large 4 權重與 Hugging Face 指南
追蹤預計的權重發布、查看模型卡片,並估算下載與部署需求。
本頁內容
發布狀態
官方的十月份 6 公告預定於十月底開放權重。該時程並不代表檔案已經可用。請查看官方公告以及 Mistral AI 的 Hugging Face 組織,以取得實際的模型儲存庫。
確認正確的儲存庫
驗證發布者、確切的模型識別碼與版本。僅憑儲存庫名稱無法確認其為官方版本。請閱讀模型卡片、支援的架構與檔案清單。請固定某個提交或版本,而非部署會移動的分支。
下載之前
檢查已發布儲存庫中的授權條款;不要假設沿用先前模型的授權。檢查檔案總和檢查碼與預期大小。計算原始權重、轉換產物、快取與回滾副本所需的磁碟容量。切勿執行來自未驗證鏡像的腳本。
記憶體估算
一個 1.05T 參數的模型在每參數兩位元組時約需 2.1 TB,每參數一位元組時約需 1.05 TB,或每參數半位元組時約需 525 GB。這些僅為權重的純算術估算,並非經過測試的 GPU 配置。量化中繼資料、路由、KV 快取與執行時期開銷會增加總量。啟用的參數不會減少儲存完整專家權重的需求。
框架就緒度
確認您的執行環境支援確切的架構與量化格式。測試分詞器相容性、專家配置、影像處理與多裝置通訊。在嘗試長上下文之前,先使用簡短提示詞與已知影像進行測試。
部署檢查清單
- 記錄儲存庫版本與授權條款。
- 在轉換前驗證已下載的檔案。
- 使用實際輸入測量記憶體、延遲與吞吐量。
- 設定請求限制與取消行為。
- 將憑證置於公開程式碼之外,僅記錄必要的診斷資訊。
若權重尚未提供
若您有權限,請使用官方 API 進行實驗。此工作區不會散布權重,也尚未對自行託管的 Large 4 部署進行基準測試。在規劃硬體之前,請閱讀我們的本地部署指南。