VocabX按生成成本重建词表,小模型推理费用降77%
VocabX预览论文提出按token实际推理成本而非词频重建小模型词表。葡萄牙语作文评分系统基于Qwen3-4B,词表从约15.2万降至约6.5万,实测推理成本下降77%,基座模型与训练配方不变。论文仍在审,数字可能调整。国内可用性与价格未知。
要点
- 同一基座、数据与训练配方下,词表从约15.2万行减至约6.5万行,测得推理成本下降77%。
- 案例中生成token成本约为读取token的7.4倍,因此优先压缩模型输出,而不是只看总token数。
- 对比仅按词频或单层调整的方法,VocabX同时重建子词并加入受预算限制的宏token;数字在论文发表前可能变化。
为什么值得看
领域专用小模型常继承通用词表,重复输出被切得很碎,且每步仍要对大量用不到的词打分。VocabX按输入与生成的真实成本选词,并同时做子词与整段宏token,直接压低解码阶段开销。
谁会受影响
面向已把开源小模型微调到单一语言或固定输出格式的团队,尤其是推理以生成为主、批量不大的生产系统;文中案例是基于Qwen3-4B的葡萄牙语作文评分器。
今天就能怎么试
目前只有预览文章,论文仍在审,代码、权重、接口和价格均未知,无法直接试用。需等正式论文与实现公布后,再用自有领域数据按成本重建词表;国内可用性未知。
原始来源
1How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications · Hugging Face Blog · 2026年10月22日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
微软研究者与合作者证明31年KLS猜想
微软研究院张昕之与合作者证明了1995年提出的KLS猜想:对数凹高维分布中,最优平面切割与任意形状切割的差距由与维度无关的常数控制。此前最好界仍随维度缓慢增长。证明依靠人类引导的智能体搜索,并有独立证明与Lean验证。价格和国内可用性未知。
微软亚研开源Agent Lightning v1.0:真实智能体框架直接参与强化学习
微软亚洲研究院开源Agent Lightning v1.0,约3500行实现Harnessed Agentic RL。部署中的真实智能体经LLM代理直接参与训练,无需重写。约6000条样本使Qwen3.5-9B的SWE-bench Pass@1从41.8%升至56.4%。国内可用性与价格未知。
东南亚数字经济2026年GMV有望达3680亿美元
谷歌、淡马锡与贝恩发布第11份东南亚数字经济报告,预计2026年区域数字商品交易总额同比增长17%至3680亿美元,并有望在2035年前突破1万亿美元。生成式AI已被2.43亿人使用,普及速度约为移动互联网的四倍。报告认为智能体商务信任上升,未来五年区域AI使用量或增60倍。
微软发布实验性生物研究系统Quine
微软研究院发布实验性生物研究系统Quine,包含跨模态生物学世界模型,并连接科学工具、文献与研究人员。它与博德研究所合作,用于优先排序可能推动胰腺癌肿瘤状态转换的化合物,部分高排名候选已在湿实验中验证。系统仅供研究而非临床使用,价格与国内可用性未知。