vLLM 0.32.0发布：结构化决策、低精度KV与新模型支持
vLLM发布0.32.0，汇集814次提交与363位贡献者。新版带来结构化决策接口、通用解析器、更广的低精度KV缓存和Model Runner V2优化，并新增EmbeddingGemma 2等模型；同时修复安全缺陷并调整多项默认行为。国内是否可用、定价均未知。
要点
- 新增POST /v1/systemone结构化决策接口，并提供读取模型response_template的通用工具与推理解析器。
- NVFP4、FP8及ROCm 4-bit KV缓存覆盖更多GPU，Model Runner V2增加推测解码、弹性专家并行等能力。
- 新增EmbeddingGemma 2、MiniCPM-V 4.7和Nemotron 3.5 ASR等支持，同时包含多项安全修复与破坏性变更。
为什么值得看
该版本把结构化决策接口设为默认，扩展多硬件低精度KV缓存并升级Model Runner V2，同时修复安全问题、调整多项默认行为，直接影响推理服务的吞吐、启动和兼容性。
谁会受影响
面向自托管大模型推理、多模态嵌入、语音转写及需要工具调用与推理解析的工程团队。
今天就能怎么试
可按发布说明用pip安装vllm，或拉取CUDA、ROCm、CPU、XPU对应镜像；Python 3.10已移除。国内可用性未知，本条未实测。
原始来源
1v0.32.0 · vLLM Releases · 2026年10月18日✓ 已打开核对本条由 AI 根据上面的原始来源整理，经编辑审核后发布。数字和结论以原文为准，发现错误欢迎反馈。
相关动态
OpenAI推出常驻智能体Dots，支持跨应用持续办事
OpenAI发布由GPT-6 Astra驱动的Dots，为智能体配备云端电脑、浏览器和应用连接。它能持续跟进项目、吸收反馈，并在ChatGPT、Slack或Teams沟通。首批面向符合地区条件的Pro、Business Premium及管理员开启测试的企业用户。
ChatGPT开始推送GPT-6，可生成交互式回答界面
OpenAI于10月7日开始在ChatGPT的Chat体验推送GPT-6与Intelligent UI，回答可包含按钮、图表、表单和互动工具。付费档先开放，免费与Go档次日开始推送；该公告说明此次更新不改变Work和Codex所使用的模型。
DeepSeek开放搜索与抓取接口，支持智能体接入
DeepSeek于10月17日开放自研网页搜索能力，Search返回结构化检索结果，Fetch把单个网页转换为Markdown。两者复用DeepSeek API密钥，按有结果的成功请求计费，每1000次5元；空结果、失败及超时不收费。
微软业务智能体评测接入 HF，直接检查数据库结果
ThinkingBox 在 507 个有状态业务流程中检查智能体最终留下的数据库记录和副作用，并对每项任务重复运行二十次。HF 博文展示了工具调用看似正常却写错状态的案例，提醒平均成功率、至少成功一次和次次成功不能混为一谈。