Mistral Large 4 权重与 Hugging Face 指南

追踪权重发布计划,核对模型卡并估算下载与部署要求。

本页目录

发布状态

官方 10 月 6 日公告计划在 10 月底发布开放权重。计划不代表文件已经可用。请通过官方公告和 Mistral AI 的 Hugging Face 组织页寻找实际仓库。

确认正确仓库

核对发布者、确切模型标识和修订版本。仓库名称不能单独证明来源。阅读模型卡、架构和文件列表,固定 commit 或 revision,避免把变化中的分支直接用于生产。

下载前检查

以发布仓库内许可证为准,不要沿用前代许可假设。检查文件校验值与大小,为原始权重、转换文件、缓存和回滚副本预留磁盘。不执行未经验证的镜像脚本。

内存估算

1.05T 参数按每参数 2 字节约需 2.1 TB,1 字节约 1.05 TB,半字节约 525 GB。这只是权重算术估算,不是经过测试的 GPU 配置;量化元数据、路由、KV 缓存和运行时会增加需求。活跃参数量不能免除完整专家权重的存储。

框架准备

确认运行时支持确切架构与量化格式,测试 tokenizer、专家放置、图片处理和多设备通信。先使用短提示词与已知图片,再尝试长上下文。

部署检查清单

  • 记录仓库版本和许可证。
  • 转换前验证下载文件。
  • 用真实输入测量内存、耗时和吞吐。
  • 设置请求上限与取消行为。
  • 密钥留在服务端,只保留必要诊断日志。

权重不可用时

有权限时可用官方 API 进行实验。本站不分发权重,也未实测本地 Large 4。购买硬件前先阅读本地部署指南。

试试你自己的任务。

带上原始资料,核查输出结果。

打开聊天