关键帧驱动图生视频（用文生图静帧转为动态镜头）

适用阶段

AI 视频全流程中"分镜→文生图→图生视频"的过渡环节，处于音频制作之前。

这是什么

先用文生图生成每个镜头的关键静帧，再以这些静帧作为图生视频模型的输入条件，让静态画面产生镜头运动或主体动作，从而兼顾画面风格一致性与动态表现。

为什么需要

• 直接用文本生成视频在风格、构图控制上较弱。
• 静帧筛选可作为质量门控——不满意的画面不必进入视频生成阶段，节约算力与时间。
• 静帧之间形成天然的风格锚点，为后续跨镜头的视觉一致性提供参考。

常见做法

1. 在分镜描述基础上，为每个镜头准备适合的文生图提示词。
2. 对每个镜头生成多张候选静帧，人工挑选最合适的一张作为关键帧。
3. 为该关键帧撰写图生视频用的运动描述：镜头推拉、摇移、主体动作幅度、起始与结束状态。
4. 运行图生视频，得到动态片段。
5. 检查人物外观与肢体、光照方向、画面文字、起始/结束帧一致性。

与其他方法的衔接

• 上游依赖：脚本分镜化（将连续叙事拆成可独立生成的单镜头）。
• 下游衔接：跨工具风格调和（剪辑阶段处理多模型输出差异）（剪辑阶段处理多模型输出风格差异）。
• 风险联动：AI 视觉生成中的角色漂移（角色漂移风险同样适用于图生视频中的角色一致性）。

经验与检查点

• 静帧挑选要预留迭代空间，避免单帧"完美"导致后续视频化时无可挽回的细节崩坏。
• 运动幅度要保守——大幅肢体运动容易触发肢体错误与面部崩坏。
• 起始帧与结束帧的画面状态差异不必过大，留给模型平滑过渡的空间。

来源边界

原文档未公开所使用的具体图生视频模型、运动描述参数和时长区间，wiki 不作具体参数断言。