本地配音与声音驱动视频(9.0.3候选)
配音先生成本人私有音频,再把该音频和角色参考图交给声音驱动视频档位。执行统一在Microi.AI,所有GPU任务进入同一持久队列、并发1;没有额外开放给用户的TTS端口。源码候选尚不代表客户服务器已开通。
从对白到有声镜头
01 · 生成配音
朗读文本进入共享 GPU 队列,成功后保存本人私有 FLAC 与真实探针。
02 · 驱动人物画面
本人音频强引用与角色参考图交给 S2V,再进入同一个 GPU 队列。
03 · 剪辑与混音
选择保留原声、替换配音或混音,由独立 CPU 队列输出有声成片。
| 能力 | 输入与结果 | 执行资源 |
|---|---|---|
| 配音 | 朗读文本 → 本人私有 FLAC | 共享 GPU 队列 |
| 声音驱动视频 | 本人音频 + 参考图 → 说话画面 | 同一个共享 GPU 队列 |
| 剪辑与混音 | 镜头与受控音轨 → MP4 | 独立 CPU 队列 |
配音档位与私有音频
首阶段使用Qwen3-TTS CustomVoice的预置音色,支持中文等受控语言。朗读文本不超过600字符,真实输出不超过30秒;超时、超长或媒体异常明确失败。固定离线权重和独立Python环境避免覆盖Comfy主环境的依赖;只有一个审计过的配音节点被加入白名单。模型支持情况以Qwen官方仓库为准。
配音输出为FLAC,保存到本人私有HDFS,带整体SHA、真实采样/时长及探针种类。视频输入使用NativeTaskId + OutputIndex + ExpectedSha256,服务端校验当前用户、原生任务成功状态、私有永久存储、真实内容大小和ffprobe,不接受网页上的裸URL、本地路径或自报所有者。当前逐镜输入限定约5秒;较长对白先在创作流程中拆镜,不静默截断。
声音驱动视频与帧数
Wan2.2的S2V需要专用视频权重和wav2vec2音频编码器。服务上有节点不能证明这些模型已安装,更不能证明72GB显卡已通过峰值显存和口型质量验收;官方Comfy S2V教程的FP8路径仍需目标硬件实测。首尾帧、Animate和S2V是不同条件控制能力,应分别验收,不能互相代替。
当前5秒S2V图候选保持16fps,profile的81为采样latent帧;固定抽取80帧后生成5秒视频,不能宣称源模型原生24fps。旧77帧候选仅历史。新图需要独立物理口型验收。
与 CPU 剪辑衔接
配音进入CPU剪辑时,每镜可选择保留原声、替换配音或混音,数值入出点和增益有固定范围。中间件使用PCM避免逐镜有损编码延迟,最终只编码一次AAC;见CPU时间线导出。这不等于字幕、音乐生成、声音克隆或100分钟人物一致性已完成。
交付验收与真实状态
正式交付需要分别取得以下证据;客户业务入口保持未配置,直至这些条件满足。
- 镜像依赖检查与离线模型 SHA。
- 可信业务准入与结算、TTS 私有音频。
- S2V 实际口型与共享 GPU 槽释放。
- CPU 有声成片与跨用户拒绝。
本人状态查询保留SchedulingStatus;仅受保护槽与原任务完整匹配时显示RuntimeStage,“Submitted”表示推理已提交,不虚构GPU进度。分片等待的Pending不一定是等待GPU。已发CLI6.3.0尚不包含本地新增microi_ai动作,可由同源microi_run_engine调用既有Managed入口Action=GetLocalMediaTask;SDK/MCP候选回归不等于npm已发。