Title: 本地配音与声音驱动视频（9.0.3候选）
Canonical: https://microi.net/doc/system-engine/ai-local-speech-s2v.html
Page-Modified: 2026-11-11T23:06:27.000Z
Source: published HTML document body; page revision is not a capability verification date.

# 本地配音与声音驱动视频（9.0.3候选）

配音先生成本人私有音频，再把该音频和角色参考图交给声音驱动视频档位。执行统一在Microi.AI，所有GPU任务进入同一持久队列、并发1；没有额外开放给用户的TTS端口。源码候选尚不代表客户服务器已开通。

## 从对白到有声镜头

### 01 · 生成配音

朗读文本进入共享 GPU 队列，成功后保存本人私有 FLAC 与真实探针。

### 02 · 驱动人物画面

本人音频强引用与角色参考图交给 S2V，再进入同一个 GPU 队列。

### 03 · 剪辑与混音

选择保留原声、替换配音或混音，由独立 CPU 队列输出有声成片。

能力	|	输入与结果	|	执行资源	|

配音	|	朗读文本 → 本人私有 FLAC	|	共享 GPU 队列	|

声音驱动视频	|	本人音频 + 参考图 → 说话画面	|	同一个共享 GPU 队列	|

剪辑与混音	|	镜头与受控音轨 → MP4	|	独立 CPU 队列	|

## 配音档位与私有音频

首阶段使用Qwen3-TTS CustomVoice的预置音色，支持中文等受控语言。朗读文本不超过600字符，真实输出不超过30秒；超时、超长或媒体异常明确失败。固定离线权重和独立Python环境避免覆盖Comfy主环境的依赖；只有一个审计过的配音节点被加入白名单。模型支持情况以Qwen官方仓库 (https://github.com/QwenLM/Qwen3-TTS)为准。

配音输出为FLAC，保存到本人私有HDFS，带整体SHA、真实采样/时长及探针种类。视频输入使用NativeTaskId + OutputIndex + ExpectedSha256，服务端校验当前用户、原生任务成功状态、私有永久存储、真实内容大小和ffprobe，不接受网页上的裸URL、本地路径或自报所有者。当前逐镜输入限定约5秒；较长对白先在创作流程中拆镜，不静默截断。

## 声音驱动视频与帧数

Wan2.2的S2V需要专用视频权重和wav2vec2音频编码器。服务上有节点不能证明这些模型已安装，更不能证明72GB显卡已通过峰值显存和口型质量验收；官方Comfy S2V教程 (https://docs.comfy.org/tutorials/video/wan/wan2-2-s2v)的FP8路径仍需目标硬件实测。首尾帧、Animate和S2V是不同条件控制能力，应分别验收，不能互相代替。

当前5秒S2V图候选保持16fps，profile的81为采样latent帧；固定抽取80帧后生成5秒视频，不能宣称源模型原生24fps。旧77帧候选仅历史。新图需要独立物理口型验收。

## 与 CPU 剪辑衔接

配音进入CPU剪辑时，每镜可选择保留原声、替换配音或混音，数值入出点和增益有固定范围。中间件使用PCM避免逐镜有损编码延迟，最终只编码一次AAC；见CPU时间线导出 (https://microi.net/doc/system-engine/ai-cpu-timeline.html)。这不等于字幕、音乐生成、声音克隆或100分钟人物一致性已完成。

## 交付验收与真实状态

正式交付需要分别取得以下证据；客户业务入口保持未配置，直至这些条件满足。

- 镜像依赖检查与离线模型 SHA。

- 可信业务准入与结算、TTS 私有音频。

- S2V 实际口型与共享 GPU 槽释放。

- CPU 有声成片与跨用户拒绝。

本人状态查询保留SchedulingStatus；仅受保护槽与原任务完整匹配时显示RuntimeStage，“Submitted”表示推理已提交，不虚构GPU进度。分片等待的Pending不一定是等待GPU。已发CLI6.3.0尚不包含本地新增microi_ai动作，可由同源microi_run_engine调用既有Managed入口Action=GetLocalMediaTask；SDK/MCP候选回归不等于npm已发。