SCAIL-2 动作转移

SCAIL-2 是一个用于端到端受控角色动画的开源模型。它使用驱动视频对参考角色进行动画生成，同时支持角色替换和多角色场景，而无需依赖中间姿态表示。

Teaser

🔎 概述

以往的角色动画方法严重依赖于中间表示，例如骨架图或修复掩码。这些中间表示在复杂运动下存在歧义，将驱动源限制为人类动作，并阻碍了角色替换和多角色动画的发展。

SCAIL-2 消除了这种依赖，实现了端到端驱动。通过使用多个现成模型（SCAIL-Preview、Wan-Animate、MoCha），合成了 6 万对运动数据，并通过统一的运动迁移接口（包含专用掩码通道和 RoPE 设计）进行训练。结合反向驱动训练策略与统一架构，该模型学到了超越其教师模型的能力，从而涌现出以下能力：

  • 跨身份角色替换
  • 动物驱动场景
  • 对高级控制中间表示（如 SAM3D-Body 网格渲染）的零样本支持

pipeline

📦 模型

项目详情
分辨率端到端驱动同时支持 512p 和 704p；基于姿态驱动和角色替换在 704p 下效果更佳
约束条件高度 H 和宽度 W 必须均可被 32 整除（例如 704×1280）
训练设置混合分辨率和帧率
内置模块Wan VAE 和 T5 已集成到检查点中，便于使用

下载后的文件结构：

SCAIL-2/
├── Wan2.1_VAE.pth
├── model
│   ├── 1
│   │   └── fsdp2_rank_0000_checkpoint.pt
│   └── latest
└── umt5-xxl
    └── ...