康定斯基六代开放声画同步模型,可生成五秒有声短片
Kandinsky 6.0 Video 提供 30 亿与 290 亿参数两档模型,支持文字或图片生成五秒带声音视频,并通过内置超分得到全高清输出。团队称代码、权重和 Diffusers 集成采用 MIT 许可,重点加强语音及唇形的时间对齐。目前片段仍限五秒,长片需另行规划。
要点
- 提供三十亿与二百九十亿参数版本
- 生成五秒视频和同步音频
- 论文明确代码与权重采用 MIT 许可
发生了什么
Kandinsky 6.0 Video 发布声画联合生成模型家族,包含三十亿参数 Lite 与二百九十亿参数 Pro。它支持文字或图片生成五秒视频及同步的 44kHz 音频,并通过内置超分得到全高清画面;论文声明开放代码、权重与 Diffusers 集成,采用 MIT 许可。12
对内容制作,值得关注的是画面与声音在同一生成流程里协调,而不是先出无声片段再补一段泛用音效。
具体是什么
模型沿用视频生成基础,加入新的音频流,通过双向交叉注意力对齐时间和语义。训练先建立音频能力,再联合音视频资料继续学习,之后进行监督微调、强化学习与蒸馏。论文特别讨论语音质量与唇形同步的表现。2
这意味着它既需要知道画面发生了什么,也需要决定声音在什么时候出现。即使片段只有五秒,这两项能力也直接影响成片是否自然。
怎么用
从 HF 论文页进入 kandinsky-6 仓库,先查看 Lite 模型的安装、权重与硬件要求,再按官方示例运行短片段。1 可以从简单场景开始,例如一个明确动作配一种可辨认声音,不要一开始同时要求对白、复杂运镜和多个主体。
测试时将视频静音看一遍,再只听音频,最后一起播放。分别检查画面动作、声音内容、出现时机和唇形。人物对白还要核对是否读对台词,而不是只判断声音是否像人在说话。
用同一图片和相近提示比较不同版本,记录可用片段比例及总等待时间。若后续仍需剪辑,应保留原始视频和音轨,便于局部调整。
试听还可以增加没有对白的动作场景,检查脚步、碰撞或环境声是否与画面事件对应。若只有背景音乐听起来合理,却无法对齐具体动作,就需要单独记录,不能把两类声音表现合在一起评价。
意味着什么
联合声画生成有机会缩短素材制作流程,但工作重点也会从分别挑画面和配音,转向检查它们是否讲同一件事。对自媒体团队,明确动作与声音的对应关系,可能比添加大量风格词更有效。
开放实现提供了复现和定制的空间。是否值得自建,则需要按生成频率、硬件投入和可接受等待时间计算,不能只根据许可证决定。
局限与风险
论文报告的五秒长度与评测设置不能推出无限续写能力,也不保证不同语言对白有相同质量。2 Lite 参数较少,仍然需要核对完整管线的资源需求;模型加载和超分也会增加总耗时。
正式作品应逐段检查声画对应、口型和背景细节。若准备使用生成的人声或具体角色素材,还应确认相应素材的使用权限。开放模型减少了技术入口限制,但不能代替对最终内容的审阅。
为什么值得看
自媒体团队能把画面和声音一起测试,开源部署也提供了更可控的制作选项。
谁会受影响
短视频创作者、音视频工具开发者和本地生成爱好者会受影响。
今天就能怎么试
从 HF 论文页进入 kandinskylab/kandinsky-6 仓库,先查看 Lite 模型的环境与显存要求,再按图片转声画视频示例试一个五秒片段。
原始来源
1Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation · Hugging Face Daily Papers · 2026年10月4日✓ 已打开核对2Kandinsky 6.0 Video: Foundation Models for Synchronized Video and Audio Generation · arXiv · 2026年10月5日✓ 已打开核对本条由 AI 根据上面的原始来源整理,经编辑审核后发布。数字和结论以原文为准,发现错误欢迎反馈。
相关动态
Gemini 4 Argon正式开放,开发者可接入API
10月13日,谷歌扩大Gemini 4 Argon的开放范围,开发者可通过AI Studio等入口使用。首发标准输入和输出价格为每百万词元2美元、10美元,缓存输入优惠95%;Gemini应用和Antigravity的使用还取决于订阅等级。
MOSS 开放生图模型,支持中英长文字与复杂排版
MOSS-Image 结合 50 亿参数扩散模型和意图感知提示增强,重点处理长段中英文与信息密集图形。技术报告提供文字和布局评测,模型页已给出 Base、SFT 及运行说明,HF Space 也可查看并尝试带布局要求的生成流程。适合先检查文字分组效果。
DeepSeek更新V4.1闪电模型,降低编程任务成本
DeepSeek 发布 V4.1-Flash-1017,并同步更新网页、应用和接口,针对 Harness 等执行环境优化任务表现、输出长度与耗时。中文实测展示三维网页和游戏制作,同时出现建筑细节偏差;低价与成功交付仍需按完整任务一起评估。
OpenAI发布GPT-6.1 Sol,主打低价智能体
OpenAI于9月29日推出GPT-6.1 Sol,面向编程、电脑操作与专业工作。标准API每百万输入和输出词元分别为2美元、10美元,缓存输入为0.10美元;官方称部分任务表现接近Astra,已进入ChatGPT Work、Codex和API。