规划本地部署
购买硬件前确认权重、许可、内存与推理要求。
本页目录
先确认发布状态
检查当前模型卡与权重仓库。公告、API 可用、权重可下载是不同阶段。本站不托管权重。
按实际文件估算
检查精度、分片和量化格式。权重之外预留 KV 缓存、中间激活、运行时缓冲与并发空间。
验证运行时
确认架构、视觉、推理和检查点兼容。先跑小规模任务，再估算吞吐。
比较维护成本
包含硬件、电力、维护和利用率。低频任务可能适合 API。处理私密资料前核查数据政策。
购买硬件前确认权重、许可、内存与推理要求。
检查当前模型卡与权重仓库。公告、API 可用、权重可下载是不同阶段。本站不托管权重。
检查精度、分片和量化格式。权重之外预留 KV 缓存、中间激活、运行时缓冲与并发空间。
确认架构、视觉、推理和检查点兼容。先跑小规模任务，再估算吞吐。
包含硬件、电力、维护和利用率。低频任务可能适合 API。处理私密资料前核查数据政策。