Mistral Large 4 权重与 Hugging Face 指南
追踪权重发布计划,核对模型卡并估算下载与部署要求。
本页目录
发布状态
官方 10 月 6 日公告计划在 10 月底发布开放权重。计划不代表文件已经可用。请通过官方公告和 Mistral AI 的 Hugging Face 组织页寻找实际仓库。
确认正确仓库
核对发布者、确切模型标识和修订版本。仓库名称不能单独证明来源。阅读模型卡、架构和文件列表,固定 commit 或 revision,避免把变化中的分支直接用于生产。
下载前检查
以发布仓库内许可证为准,不要沿用前代许可假设。检查文件校验值与大小,为原始权重、转换文件、缓存和回滚副本预留磁盘。不执行未经验证的镜像脚本。
内存估算
1.05T 参数按每参数 2 字节约需 2.1 TB,1 字节约 1.05 TB,半字节约 525 GB。这只是权重算术估算,不是经过测试的 GPU 配置;量化元数据、路由、KV 缓存和运行时会增加需求。活跃参数量不能免除完整专家权重的存储。
框架准备
确认运行时支持确切架构与量化格式,测试 tokenizer、专家放置、图片处理和多设备通信。先使用短提示词与已知图片,再尝试长上下文。
部署检查清单
- 记录仓库版本和许可证。
- 转换前验证下载文件。
- 用真实输入测量内存、耗时和吞吐。
- 设置请求上限与取消行为。
- 密钥留在服务端,只保留必要诊断日志。
权重不可用时
有权限时可用官方 API 进行实验。本站不分发权重,也未实测本地 Large 4。购买硬件前先阅读本地部署指南。