規劃本地部署

先確認權重發布狀態

Large 4 公告規劃於十月底 2026. 開放權重。在選擇執行環境或購買硬體前，請確認已發布的官方儲存庫。請閱讀權重指南與實際的模型卡片。

模型文件列出 1.05T 總參數與 52B 啟用參數。MoE 啟用稀疏性可降低每個 token 的運算量；這不代表只需儲存啟用的權重。請將所有專家與視覺元件納入考量。

這些算術預估不包含量化中繼資料、執行時緩衝區、KV 快取與備援。這些不是經過測試的 GPU 建議。在假設某種精度受支援之前，請先確認發布的格式。

文件記載的上下文為 1M tokens，但部署可能會公開較少。KV 快取記憶體與預填時間會隨上下文與並行度增長。請設定實際的最大輸入長度，並以您預計服務的並行度進行測試。

請檢查架構支援、分詞器版本、專家分佈、注意力核心、量化與影像預處理。不要因為名稱相似就使用適用於不同模型的指令。請固定執行環境與模型版本，並保留已知良好的回滾版本。

先以一個簡短請求開始。將輸出格式與一個具確定性的測試案例與已知參考進行比對。測量首個 token 時間、總延遲、峰值記憶體與取消恢復。然後測試多個請求、長輸入、格式錯誤的內容與重新啟動。

在推論端點前置認證與請求限制。保持管理埠為私有。追蹤營運指標，但不要保留不必要的提示詞。在公開暴露前建立更新、備份與事件處理程序。

如果您不需要控制完整的推論堆疊，請比較 API 成本與基礎設施及人力時間。計算機可預估供應商 token 成本，但不包含託管或營運成本。