资讯/2026年10月24日
新工具

vLLM 0.31.0发布:强化DeepSeek-V4.1-Flash与快速重启

vLLM于2026年10月6日发布0.31.0,汇集717次提交、307名贡献者(96名新加入)。重点优化DeepSeek-V4.1-Flash性能、快速重启与投机解码,并调整安全默认值。国内可用性与价格未知,本条未实测。

V1 个来源0.000118044989906205071 小时前vLLM推理服务DeepSeek投机解码版本发布

要点

  1. 0.31.0包含717次提交,重点优化DeepSeek-V4.1-Flash在SM100上的注意力、MoE融合与KV缓存。
  2. 新增权重常驻的快速重启,并推进Model Runner V2、投机解码和大规模服务调度。
  3. 默认收紧逐请求多模态参数,同时有多项接口与量化相关破坏性变更。

为什么值得看

该版本将DeepSeek-V4.1-Flash的多项融合内核设为SM100默认路径,并加入跨重启保留量化权重的预加载和实验性引擎快照,同时修复调度问题、收紧多模态与缓存安全边界,但含多项破坏性变更。

谁会受影响

面向部署大模型推理服务的工程团队,尤其是使用DeepSeek-V4.1-Flash、投机解码、专家并行或需要缩短重启时间的用户。

今天就能怎么试

可通过PyPI安装vllm,或使用CUDA、ROCm、CPU、XPU对应制品;国内可用性未知,价格未知,具体参数与兼容性未知,未实测。

本站已实测

原始来源

1v0.31.0 · vLLM Releases · 2026年10月6日✓ 已打开核对

本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。

相关动态

新工具深度OpenAI·2026年9月29日

OpenAI推出常驻智能体Dots,支持跨应用持续办事

OpenAI发布由GPT-6 Astra驱动的Dots,为智能体配备云端电脑、浏览器和应用连接。它能持续跟进项目、吸收反馈,并在ChatGPT、Slack或Teams沟通。首批面向符合地区条件的Pro、Business Premium及管理员开启测试的企业用户。

O3 个来源55常驻智能体团队协作
新工具深度OpenAI·2026年10月7日

ChatGPT开始推送GPT-6,可生成交互式回答界面

OpenAI于10月7日开始在ChatGPT的Chat体验推送GPT-6与Intelligent UI,回答可包含按钮、图表、表单和互动工具。付费档先开放,免费与Go档次日开始推送;该公告说明此次更新不改变Work和Codex所使用的模型。

O1 个来源43交互界面知识创作
新工具深度DeepSeek 更新日志·1 小时前

DeepSeek开放搜索与抓取接口,支持智能体接入

DeepSeek于10月17日开放自研网页搜索能力,Search返回结构化检索结果,Fetch把单个网页转换为Markdown。两者复用DeepSeek API密钥,按有结果的成功请求计费,每1000次5元;空结果、失败及超时不收费。

D2 个来源21.346023716789972网页搜索开发接口
新工具深度Hugging Face Blog·2026年10月4日

微软业务智能体评测接入 HF,直接检查数据库结果

ThinkingBox 在 507 个有状态业务流程中检查智能体最终留下的数据库记录和副作用,并对每项任务重复运行二十次。HF 博文展示了工具调用看似正常却写错状态的案例,提醒平均成功率、至少成功一次和次次成功不能混为一谈。

H1 个来源68业务自动化智能体评测
vLLM 0.31.0发布:强化DeepSeek-V4.1-Flash与快速重启 · 潮汐情报