搜索

动态

vLLM 0.31.0发布:强化DeepSeek-V4.1-Flash与快速重启

vLLM于2026年10月6日发布0.31.0,汇集717次提交、307名贡献者(96名新加入)。重点优化DeepSeek-V4.1-Flash性能、快速重启与投机解码,并调整安全默认值。国内可用性与价格未知,本条未实测。

53 分钟前
动态

vLLM发布vllm-proto 0.5.0标签

vLLM仓库发布proto-v0.5.0标签,对应说明为Release vllm-proto 0.5.0,由BugenZhao于2026年10月9日完成标记。现有资料没有列出更新内容、资产文件、价格和国内可用性,相关细节均未知。

53 分钟前
动态

vLLM仓库出现proto-v0.6.0标签

vLLM项目仓库出现proto-v0.6.0标签,页面显示为vllm-proto 0.6.0,由njhill于2026年10月14日标记。发布说明与两项资产均加载失败,功能变化、接口参数、价格及国内可用性均未知。目前只能确认版本标签存在,尚不能判断升级影响。

54 分钟前
动态

vLLM 0.32.0发布:结构化决策、低精度KV与新模型支持

vLLM发布0.32.0,汇集814次提交与363位贡献者。新版带来结构化决策接口、通用解析器、更广的低精度KV缓存和Model Runner V2优化,并新增EmbeddingGemma 2等模型;同时修复安全缺陷并调整多项默认行为。国内是否可用、定价均未知。

55 分钟前
动态

英伟达发布GLM-5.3-Flash的NVFP4本地量化模型

英伟达放出GLM-5.3-Flash的NVFP4本地量化权重:总参3200亿、激活180亿,支持文本、图像、视频,上下文约100万。模型卡称约166GiB显存,双路RTX PRO 6000或DGX Spark可用vLLM;新缩放格式上游未支持,须社区容器。国内与价格未知。

1 小时前
动态

英伟达发布Qwen3.8-Flash-Next的NVFP4本地量化版

英伟达发布阿里Qwen3.8-Flash-Next的NVFP4量化版,总参1250亿、激活60亿,支持文本图像视频,上下文可至100万token。模型卡显示Blackwell配合vLLM验证,GPQA与工具基准接近BF16;新尺度压缩尚未进入上游vLLM,须用专用容器。国内可用性与价格未知。

1 小时前
动态

上海AI实验室发布35B智能体模型Sage-A1.5

上海人工智能实验室发布35B混合专家智能体模型Sage-A1.5,基于Qwen3.6与Agents-A1,主打子任务并行编排、过程核验和开放科学探索。模型卡列出多项基准成绩,并说明可用Transformers、vLLM和SGLang加载。价格、国内可用性未知,本文未实测。

1 小时前
动态

Fish Audio发布Drama 3多角色长文本语音模型

Fish Audio推出Drama 3语音合成模型,主打多角色长内容,单段文本最多标记16个说话人,并支持声音克隆与自然语言控制。总参数350亿、每token激活约30亿,可经SGLang-Omni或vLLM-Omni部署流式服务。价格与国内可用性未知,公开性能基于H200,本条未实测。

1 小时前
动态

vLLM新增结构化决策接口,同时停止支持Python旧版

vLLM 0.32.0加入/v1/systemone结构化决策接口,扩展多模态模型与低精度缓存支持,并修复多项资源耗尽问题。升级同时移除Python 3.10支持、收紧默认跨域策略和调整依赖范围,服务端与前端调用都需要做兼容检查。

5 天前
动态

Fish 新语音模型支持多角色对白,网页可流式试听

Drama 3 面向多角色场景与长篇配音,支持声音克隆、自然语言表演控制和最多十六个角色标签。模型采用 350 亿总参数、约 30 亿活跃参数架构,HF Space 提供直接生成入口;权重使用 Fish Audio 社区许可,商用须核对条款。长文本会自动分块。

2026年10月14日
动态

vLLM更新推理与快速重启,部分启动参数需要迁移

vLLM 0.31.0发布,重点优化DeepSeek推理、投机解码和大规模服务,并新增权重预加载及实验性引擎快照。版本也调整多模态请求参数的信任开关和若干量化配置,已有部署应先核对破坏性变更,再评估重启时间和服务表现。

2026年10月5日