英伟达发布通义四位量化版本,面向本地大显存设备
英伟达为通义闪电模型提供四位量化权重,文件约 96GiB,并列出两类经过验证的大显存设备与卸载配置。模型页提醒新的缩放因子压缩格式尚未进入上游运行框架,需要使用指定容器,不能仅替换模型名称,也不意味着普通笔记本即可部署。
要点
- 量化检查点约九十六 GiB
- 验证硬件为特定 Blackwell 设备
- 须使用兼容新格式的指定容器
为什么值得看
量化方案是否可用取决于运行时和硬件配套,标题里的本地部署并不代表普通笔记本即可运行。
谁会受影响
采购本地推理设备和部署开放多模态模型的团队会受影响。
今天就能怎么试
先核对模型页列出的硬件,再使用其指定容器和卸载配置;不要直接套用尚未支持该压缩格式的上游 vLLM。
原始来源
1Model Overview · Hugging Face 热门模型 · 发布日期未知✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
Gemini 4 Argon正式开放,开发者可接入API
10月13日,谷歌扩大Gemini 4 Argon的开放范围,开发者可通过AI Studio等入口使用。首发标准输入和输出价格为每百万词元2美元、10美元,缓存输入优惠95%;Gemini应用和Antigravity的使用还取决于订阅等级。
MOSS 开放生图模型,支持中英长文字与复杂排版
MOSS-Image 结合 50 亿参数扩散模型和意图感知提示增强,重点处理长段中英文与信息密集图形。技术报告提供文字和布局评测,模型页已给出 Base、SFT 及运行说明,HF Space 也可查看并尝试带布局要求的生成流程。适合先检查文字分组效果。
DeepSeek更新V4.1闪电模型,降低编程任务成本
DeepSeek 发布 V4.1-Flash-1017,并同步更新网页、应用和接口,针对 Harness 等执行环境优化任务表现、输出长度与耗时。中文实测展示三维网页和游戏制作,同时出现建筑细节偏差;低价与成功交付仍需按完整任务一起评估。
OpenAI发布GPT-6.1 Sol,主打低价智能体
OpenAI于9月29日推出GPT-6.1 Sol,面向编程、电脑操作与专业工作。标准API每百万输入和输出词元分别为2美元、10美元,缓存输入为0.10美元;官方称部分任务表现接近Astra,已进入ChatGPT Work、Codex和API。