这是一款基于 SCAIL-2 + SAM3 双主体追踪 + 双人骨骼动作引导 + 循环续写 的 AI 视频生成应用。
用户只需要上传一张双人或双主体参考图,再上传一个双人驱动视频,系统就会自动识别驱动视频里的两个主体动作,并让参考图中的两个角色跟随视频完成动作迁移。
和普通单人图生视频不同,这个流程专门针对双人 / 双主体场景设计。它会通过 SAM3 同时追踪两个主体,并按照 left_to_right 的方式保持左右角色关系,减少双人视频中常见的角色互换、人物缺失、身份漂移和动作串位问题。
整个流程会自动完成:驱动视频读取、参考图尺寸统一、驱动视频尺寸统一、双主体识别、双路遮罩生成、SCAIL-2 骨骼动作引导、首段生成、循环续写、重叠帧处理、颜色匹配、帧序列合并和最终视频输出。
最终生成的是一段双主体动作视频,适合用于双人舞蹈、双角色互动、双人动作迁移、双人短剧、双角色展示、AI 舞蹈视频、动物或拟人角色动作引导,以及 RunningHub 视频类应用封装。
如果包装成 RunningHub 应用,核心卖点可以直接表达为:
上传双人参考图和双人驱动视频,一键生成双角色动作同步的 AI 视频。