正在整理你需要的资料…
先出画面再单独配音,嘴型对不上、环境音也对不上。OpenMOSS 的 MOVA 是开源的视频与音频同步生成基础模型,一次推理同时产出画面和同步声音:非对称双塔架构拿预训练的视频塔和音频塔做双向交叉注意力融合,替掉级联管线,多语言口型同步和环境感知音效是强项。仓库放出权重、推理、训练、LoRA 微调和评测流程。
适合想要一次调用就得到「有人说话、嘴型对得上、带环境音」片段的人,而不是先出画面再单独配音;显存门槛与各模型一致,ComfyUI 节点和 Ascend NPU 都能跑。
MOVA
先出画面再单独配音,嘴型对不上、环境音也对不上
下面是把仓库 README 逐节读完后归纳出的中文要点。
MOVA 在单一模型里同时生成视频与同步音频,采用非对称双塔架构与双向交叉注意力融合预训练的视频与音频塔,并开源权重、推理、训练与 LoRA 微调流程
按日期汇总进展:发布 MOVA 开源模型与技术报告、开放 ComfyUI 支持与 API 申请、公开 732 条样本的评测基准,并释出评测代码
提供单人语音与多人语音的演示样例可点击展开,官网还有更多演示;模型分 MOVA-360p 与 MOVA-720p 两个版本,均在 Hugging Face 上提供并支持 TI2VA
评测代码提供 7 组共 11 项指标,覆盖音质、口型同步与视听对齐;既做客观基准也做主观人工评测,口型同步差距最大时开启 Dual CFG 的 MOVA-720p 在 LSE-D 与 LSE-C 指标上表现突出,cpCER 指标也排在首位
SGLang 提供首日支持,可直接用最新版做高吞吐推理;另附 Streamlit 网页界面,支持先由 AI 生成首帧再改写成视频描述的完整流程,以及直接给提示词与首帧的简单模式
MOVA 以托管 API 形式提供,可申请 API Key 后直接生成同步的视频与音频内容,无需自行维护任何基础设施
cd ComfyUI/custom_nodes
git clone --recursive https://github.com/richservo/comfyui-mova.git
cd comfyui-mova
pip install -r requirements.txt| 主要语言 | Python | 许可 | Apache-2.0 |
|---|---|---|---|
| 创建时间 | 2026-01-28 | 最近提交 | 2026-11-17 |
| 站内采集 | 2026-11-06 起,连续观察 13 天 | 最近一次 | 2026-11-18 |
最近 9 次采集
2026-11-06 1,139 ★ → 2026-11-18 1,149 ★ (累计 +10)
数据来自 GitHub 公开接口的每日采集快照,star 数为采集当时读到的值, 与 GitHub 页面上显示的实时数字可能有几分钟的差距。 项目名点击可回到 本页。