多主体参考 LTX-2.3-Multiple-Subject-Reference
返回

多主体参考 LTX-2.3-Multiple-Subject-Reference
393 1 11

动漫游戏

写实

幻想

中国风

女生

男生

人物加强

主体加强

多主体参考 LTX-2.3-Multiple-Subject-Reference

多主体参考视频生成
LTX-2.3-Multiple-Subject-Reference

工作流地址:https://www.runninghub.cn/post/2065248408478248962

该模型基于多主体参考(MSR),提出了一种全新的多参考图视频生成方案。本方案无需额外增设编码器分支或特征融合模块,而是将多张静态参考图转换为伪视频序列,使其与目标视频处于同一特征表征空间。

使用说明
本 LoRA 模型需搭配 ComfyUI 的 ComfyUI-Licon-MSR 插件使用。模型文件内附带示例工作流,便于快速测试与调试。
----------------------------------------
核心特性
多参考视觉记忆
词元级参考信息留存:将多张参考图编码为视频隐空间特征,在词元维度保留精细视觉细节,而非压缩为单一特征嵌入。
原生自注意力检索:目标视频词元可通过模型原生自注意力机制直接调取参考图词元,无需改动模型架构。
上下文条件约束:参考内容融入主词元序列作为 “视觉记忆”,而非独立的外部条件输入。


灵活的参考图组合能力
支持2–5 张参考图输入,可适配不同复杂度的生成场景。
各参考图可承载差异化语义信息:
主体身份特征
道具 / 物件细节
场景与背景
局部纹理
多视角画面
功能能力


跨参考身份留存
可在生成视频中同时保留多张参考图里的主体特征:
融合多张参考图中的多个人物
人物与物件组合生成
物件与场景融合创作


基于关联关系的内容组合

除基础身份保留外,模型可根据文本描述的关联逻辑重组参考内容:
动作交互(递交、拾取、推搡等动作)
空间位置关系(左右分布、前景 / 背景层次)
时序事件逻辑(起始→过程→结果)


跨参考属性择优提取
模型可智能从不同参考图中选取对应视觉属性进行融合:
面部特征取自参考图 A,服饰特征取自参考图 B
物件主体沿用某张参考图,姿态 / 位置取自另一张参考图
背景元素调用场景类参考图内容


使用技巧(V1 版本)
提示词撰写:描述参考图时需简洁且精准,描述过度或信息不足,都会导致画面一致性下降。
高动态画面:建议设置帧率为 50 帧 / 秒,保证动态画面流畅连贯。
生成稳定性:通常重复采样 2–3 轮,即可得到效果精准的成品。

此模型源自站外搬运(搬运地址: huggingface.co ),若原作者对于本次搬运的结果存在异议,可点
申诉
我们会在 24 小时内,按照原作者的要求,对本模型展开编辑、删除或是转移给原作者等相关处理。由衷欢迎原作者入驻本站,共建 AI绘图的学习交流社区。

Dream2046

Dream2046

动漫游戏

写实

幻想

中国风

女生

男生

人物加强

主体加强

模型信息

未冻结
原创作者:
LiconStudio
模型类型:
LoRA
基础模型:
LTX2.3
文件名称:
models/loras/LTX2.3-Multiple-Subject-Reference-v1.safetensors
MD5:
5735568f490dada196c64d903fa49728

多主体参考视频生成
LTX-2.3-Multiple-Subject-Reference

工作流地址:https://www.runninghub.cn/post/2065248408478248962

该模型基于多主体参考(MSR),提出了一种全新的多参考图视频生成方案。本方案无需额外增设编码器分支或特征融合模块,而是将多张静态参考图转换为伪视频序列,使其与目标视频处于同一特征表征空间。

使用说明
本 LoRA 模型需搭配 ComfyUI 的 ComfyUI-Licon-MSR 插件使用。模型文件内附带示例工作流,便于快速测试与调试。
----------------------------------------
核心特性
多参考视觉记忆
词元级参考信息留存:将多张参考图编码为视频隐空间特征,在词元维度保留精细视觉细节,而非压缩为单一特征嵌入。
原生自注意力检索:目标视频词元可通过模型原生自注意力机制直接调取参考图词元,无需改动模型架构。
上下文条件约束:参考内容融入主词元序列作为 “视觉记忆”,而非独立的外部条件输入。


灵活的参考图组合能力
支持2–5 张参考图输入,可适配不同复杂度的生成场景。
各参考图可承载差异化语义信息:
主体身份特征
道具 / 物件细节
场景与背景
局部纹理
多视角画面
功能能力


跨参考身份留存
可在生成视频中同时保留多张参考图里的主体特征:
融合多张参考图中的多个人物
人物与物件组合生成
物件与场景融合创作


基于关联关系的内容组合

除基础身份保留外,模型可根据文本描述的关联逻辑重组参考内容:
动作交互(递交、拾取、推搡等动作)
空间位置关系(左右分布、前景 / 背景层次)
时序事件逻辑(起始→过程→结果)


跨参考属性择优提取
模型可智能从不同参考图中选取对应视觉属性进行融合:
面部特征取自参考图 A,服饰特征取自参考图 B
物件主体沿用某张参考图,姿态 / 位置取自另一张参考图
背景元素调用场景类参考图内容


使用技巧(V1 版本)
提示词撰写:描述参考图时需简洁且精准,描述过度或信息不足,都会导致画面一致性下降。
高动态画面:建议设置帧率为 50 帧 / 秒,保证动态画面流畅连贯。
生成稳定性:通常重复采样 2–3 轮,即可得到效果精准的成品。

此模型源自站外搬运(搬运地址: huggingface.co ),若原作者对于本次搬运的结果存在异议,可点
申诉
我们会在 24 小时内,按照原作者的要求,对本模型展开编辑、删除或是转移给原作者等相关处理。由衷欢迎原作者入驻本站,共建 AI绘图的学习交流社区。