跳到主要内容

Wan2.2 视频生成ComfyUI 官方原生工作流示例

在 ComfyUI 中运行 Wan2.2 视频工作流:5B 混合 TI2V 模型,以及 14B 文生视频、图生视频和首尾帧示例,附下载链接。

通义万相 2.2(Wan 2.2)是阿里云推出的新一代多模态生成模型。该模型采用创新的 MoE(Mixture of Experts)架构,由高噪专家模型和低噪专家模型组成,能够根据去噪时间步进行专家模型划分,从而生成更高质量的视频内容。

Wan 2.2 具备三大核心特性:影视级美学控制,深度融合专业电影工业的美学标准,支持光影、色彩、构图等多维度视觉控制;大规模复杂运动,轻松还原各类复杂运动并强化运动的流畅度和可控性;精准语义遵循,在复杂场景和多对象生成方面表现卓越,更好还原用户的创意意图。 模型支持文生视频、图生视频等多种生成模式,适用于内容创作、艺术创作、教育培训等多种应用场景。

Wan2.2 提示词指南

模型亮点

  • 影视级美学控制:专业镜头语言,支持光影、色彩、构图等多维度视觉控制
  • 大规模复杂运动:流畅还原各类复杂运动,强化运动可控性和自然度
  • 精准语义遵循:复杂场景理解,多对象生成,更好还原创意意图
  • 高效压缩技术:5B版本高压缩比VAE,显存优化,支持混合训练

Wan2.2 开源模型版本

Wan2.2 系列模型基于 Apache2.0 开源协议,支持商业使用。Apache2.0 许可证允许您自由使用、修改和分发这些模型,包括商业用途,只需保留原始版权声明和许可证文本。

模型类型模型名称参数量主要功能模型仓库
混合模型Wan2.2-TI2V-5B5B支持文本生成视频和图像生成视频的混合版本,单一模型满足两大核心任务需求🤗 Wan2.2-TI2V-5B
图生视频Wan2.2-I2V-A14B14B将静态图像转换为动态视频,保持内容一致性和流畅的动态过程🤗 Wan2.2-I2V-A14B
文生视频Wan2.2-T2V-A14B14B从文本描述生成高质量视频,具备影视级美学控制和精准语义遵循🤗 Wan2.2-T2V-A14B

ComfyOrg Wan2.2 直播回放

对于 ComfyUI Wan2.2 的使用,我们有进行了直播,你可以查看这些回放了解如何使用

本篇教程将使用 🤗 Comfy-Org/Wan_2.2_ComfyUI_Repackaged的版本进行

请确保你的 ComfyUI 已经更新。

本指南里的工作流可以在工作流模板中找到。如果找不到,可能是 ComfyUI 没有更新。

如果加载工作流时有节点缺失,可能原因有:

  1. 你用的不是最新版(每夜版)。
  2. 启动时有些节点导入失败。
Wan2.2 template

Wan2.2 TI2V 5B 混合版本工作流示例

配合 ComfyUI 原生 offloading 功能,Wan2.2 5B 版本应能很好地适配 8GB 显存。

Wan 2.2 5B 视频生成

以 5B 参数实现快速的文生视频与图生视频生成。专为快速原型制作和创意探索而优化。

Wan 2.2 5B 视频生成工作流预览

2. 手动下载模型

所有提及的模型均可在 Comfy-Org/Wan_2.2_ComfyUI_Repackaged 中找到。

Diffusion 模型

VAE

文本编码器

ComfyUI/
├───📂 models/
│ ├───📂 diffusion_models/
│ │ └───wan2.2_ti2v_5B_fp16.safetensors
│ ├───📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ └───📂 vae/
│ └── wan2.2_vae.safetensors

3. 按步骤操作

步骤图
  1. 确保 Load Diffusion Model 节点加载了 wan2.2_ti2v_5B_fp16.safetensors 模型。
  2. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型。
  3. 确保 Load VAE 节点加载了 wan2.2_vae.safetensors 模型。
  4. (可选)如果需要进行图生视频生成,可以使用快捷键 Ctrl+B 启用 Load image 节点来上传图片。
  5. (可选)在 Wan22ImageToVideoLatent 节点中,可以调整尺寸设置和视频总帧数(length)。
  6. (可选)如果需要修改提示词(正向和负面),请在步骤 5 的 CLIP Text Encoder 节点中进行修改。
  7. 点击 Run 按钮,或使用快捷键 Ctrl(cmd) + Enter 来执行视频生成。

Wan2.2 14B T2V 文生视频工作流示例

Wan 2.2 14B 文生视频

使用 Wan 2.2 从文本提示生成高质量视频,具备电影级美学控制与动态运动生成能力。

Wan 2.2 14B 文生视频工作流预览

2. 手动下载模型

上述所有模型都可以在 Comfy-Org/Wan_2.2_ComfyUI_Repackaged 中找到。

Diffusion 模型

VAE

文本编码器

ComfyUI/
├───📂 models/
│ ├───📂 diffusion_models/
│ │ ├─── wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors
│ │ └─── wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors
│ ├───📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ └───📂 vae/
│ └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

步骤示意图
  1. 确保第一个 Load Diffusion Model 节点加载了 wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors 模型。
  2. 确保第二个 Load Diffusion Model 节点加载了 wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors 模型。
  3. 确保 Load CLIP 节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型。
  4. 确保 Load VAE 节点加载了 wan_2.1_vae.safetensors 模型。
  5. (可选)在 EmptyHunyuanLatentVideo 节点中,你可以调整尺寸设置和视频总帧数(length)。
  6. (可选)如果你需要修改提示词(正向和负面),请在步骤 5 的 CLIP Text Encoder 节点中进行修改。
  7. 点击 Run 按钮,或使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成。

Wan2.2 14B I2V 图生视频工作流示例

1. 工作流文件

请更新你的 ComfyUI 到最新版本,并通过菜单 工作流 -> 浏览模板 -> 视频 找到 “Wan2.2 14B I2V” 以加载工作流

或者更新你的 ComfyUI 到最新版本后,下载下面的工作流并拖入 ComfyUI 以加载工作流

下载 JSON 格式工作流

Run on Comfy Cloud

你可以使用下面的图片作为输入 输入图片

2. 手动下载模型

Diffusion Model

VAE

Text Encoder

ComfyUI/
├───📂 models/
│ ├───📂 diffusion_models/
│ │ ├─── wan2.2_i2v_low_noise_14B_fp16.safetensors
│ │ └─── wan2.2_i2v_high_noise_14B_fp16.safetensors
│ ├───📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors
│ └───📂 vae/
│ └── wan_2.1_vae.safetensors

3. 按步骤完成工作流

步骤图
  1. 确保第一个 Load Diffusion Model节点加载了 wan2.2_t2v_high_noise_14B_fp8_scaled.safetensors 模型
  2. 确保第二个 Load Diffusion Model节点加载了 wan2.2_t2v_low_noise_14B_fp8_scaled.safetensors 模型
  3. 确保Load CLIP节点加载了 umt5_xxl_fp8_e4m3fn_scaled.safetensors 模型
  4. 确保Load VAE节点加载了 wan_2.1_vae.safetensors 模型
  5. Load Image 节点上传作为起始帧的图像
  6. 如果你需要修改提示词(正向及负向)请在序号6CLIP Text Encoder 节点中进行修改
  7. 可选)在EmptyHunyuanLatentVideo 你可以进行尺寸的设置调整,和视频总帧数 length 调整
  8. 点击 Run 按钮,或者使用快捷键 Ctrl(cmd) + Enter(回车) 来执行视频生成

Wan2.2 14B FLF2V 工作流示例

首尾帧工作流使用的模型位置与 I2V 部分相同。

Wan 2.2 14B 首尾帧转视频

通过定义起始帧和结束帧,生成平滑的视频过渡。

Wan 2.2 14B 首尾帧转视频工作流预览

输入素材

将这些文件上传到对应的 LoadImage 节点:

video_wan2_2_14B_flf2v_start_image.pngvideo_wan2_2_14B_flf2v_end_image.png

2. 按步骤操作

步骤图
  1. 在第一个 Load Image 节点中上传要用作起始帧的图像。
  2. 在第二个 Load Image 节点中上传要用作结束帧的图像。
  3. 调整 WanFirstLastFrameToVideo 节点中的尺寸设置。
    • 默认设置相对较小的尺寸,以防低显存用户消耗过多资源。
    • 如果显存充足,可以尝试 720P 左右的分辨率。
  4. 根据你的首尾帧编写合适的提示词。
  5. 点击 Run 按钮,或使用快捷键 Ctrl(cmd) + Enter 执行视频生成。

社区资源

GGUF 版本

自定义节点 City96/ComfyUI-GGUF

WanVideoWrapper

Wan2.2 models

Wan2.1 models

Lightx2v 4steps LoRA