这是一款基于 SCAIL-2 + SAM3 双主体追踪 + 双人骨骼引导 + 双人角色替换 + 长视频循环续写 的 AI 视频生成应用。
用户只需要上传一张双人参考图,再上传一个双人驱动视频,系统就会自动识别驱动视频里的两个人物动作,并把参考图中的两个人物替换到驱动视频对应位置上。
和普通单人换人或图生视频不同,这个流程专门针对双人视频设计。它会通过 SAM3 同时追踪两个主体,并按照 left_to_right 的方式保持左右身份对应,减少双人视频中常见的只替换一个人、第二人丢失、左右身份互换、人物漂移和动作串位问题。
整个流程会自动完成:驱动视频读取、参考图尺寸统一、驱动视频尺寸统一、双主体识别、双路遮罩生成、SCAIL-2 双人替换、首段生成、循环续写、重叠帧处理、颜色匹配、帧序列合并、原视频音频接入和最终视频输出。
最终生成的是一段双人替换长视频,既能继承驱动视频的动作、节奏和镜头结构,又能尽量保持参考图中两个人物的身份、外观、服装和左右关系稳定。
如果包装成 RunningHub 应用,核心卖点可以直接表达为:
上传双人参考图和双人驱动视频,一键生成双人角色替换长视频。