流程中用到的节点:https://github.com/TTPlanetPig/TTP_Comfyui_FramePack_SE
首先,感谢 lvmin Zhang 的 FramePack 应用——它提供了一种非常有趣的方法,使视频生成更简单、更易访问。
原始仓库:
https://github.com/lllyasviel/FramePack
本项目的更改
基于原始仓库,我们注入了一个简单的 end_image 来启用起始和结束帧参考
查看我的 PR 获取完整差异:
https://github.com/lllyasviel/FramePack/pull/167
此 PR 解决了 “背景冻结” 的批评
遇到的问题
当起始帧和结束帧差异过大时,模型难以处理,经常会出现 “幻灯片式” 的切换。
虽然有人将其归因于 “需要进一步训练”,但我认为:
Hunyuan 模型对静态人体姿势处理很好,但缺乏平滑的动态过渡
借助 lvmin Zhang 对 Hunyuan 基础模型的改进,我们可以解锁更多可能性
我的优化
调整了生成管道代码,在变化性和帧一致性之间取得平衡
测试并调优了多个参数,以确保在大多数场景中实现平滑过渡
ComfyUI 代码参考自 HM-RunningHub/ComfyUI_RH_FramePack,并进行了修改
模型下载与存放位置
您可以从 Hugging Face 手动下载各模型,也可以使用捆绑的模型包。
1. 手动下载
HunyuanVideo
https://huggingface.co/hunyuanvideo-community/HunyuanVideo/tree/main
Flux Redux BFL
https://huggingface.co/lllyasviel/flux_redux_bfl/tree/main
FramePackI2V
https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main
百度网盘: https://pan.baidu.com/s/17h23yvJXa6AczGLcybsd_A?pwd=mbqa
夸克: https://pan.quark.cn/s/80ff4f39c15b
2. 模型存放位置
将内容复制到 models/ 文件夹,参考 HM-RunningHub/ComfyUI_RH_FramePack
text
复制
编辑
comfyui/models/
├── flux_redux_bfl
│ ├── feature_extractor/
│ │ └── preprocessor_config.json
│ ├── image_embedder/
│ │ ├── config.json
│ │ └── diffusion_pytorch_model.safetensors
│ ├── image_encoder/
│ │ ├── config.json
│ │ └── model.safetensors
│ ├── model_index.json
│ └── README.md
├── FramePackI2V_HY
│ ├── config.json
│ ├── diffusion_pytorch_model-00001-of-00003.safetensors
│ ├── diffusion_pytorch_model-00002-of-00003.safetensors
│ ├── diffusion_pytorch_model-00003-of-00003.safetensors
│ ├── diffusion_pytorch_model.safetensors.index.json
│ └── README.md
└── HunyuanVideo
├── config.json
├── model_index.json
├── README.md
├── scheduler/
│ └── scheduler_config.json
├── text_encoder/
│ ├── config.json
│ ├── model-00001-of-00004.safetensors
│ ├── model-00002-of-00004.safetensors
│ ├── model-00003-of-00004.safetensors
│ ├── model-00004-of-00004.safetensors
│ └── model.safetensors.index.json
├── text_encoder_2/
│ ├── config.json
│ └── model.safetensors
├── tokenizer/
│ ├── special_tokens_map.json
│ ├── tokenizer_config.json
│ └── tokenizer.json
├── tokenizer_2/
│ ├── merges.txt
│ ├── special_tokens_map.json
│ ├── tokenizer_config.json
│ └── vocab.json
└── vae/
├── config.json
└── diffusion_pytorch_model.safetensors
参数指南
padding_mode
仍在实验阶段——目前使用 optimized
end_condition_strength & enable_feature_fusion 可以组合使用,较低的strength会降低尾帧匹配度
较低的 end_condition_strength 提高自由度,但降低与结束帧的相似度
history_weight
控制历史影响力,默认 100%
history_decay
线性衰减历史权重;如需更多变化,可增大 decay
欢迎在 Issues 或 PR 中分享反馈或建议!
流程中用到的节点:https://github.com/TTPlanetPig/TTP_Comfyui_FramePack_SE
首先,感谢 lvmin Zhang 的 FramePack 应用——它提供了一种非常有趣的方法,使视频生成更简单、更易访问。
原始仓库:
https://github.com/lllyasviel/FramePack
本项目的更改
基于原始仓库,我们注入了一个简单的 end_image 来启用起始和结束帧参考
查看我的 PR 获取完整差异:
https://github.com/lllyasviel/FramePack/pull/167
此 PR 解决了 “背景冻结” 的批评
遇到的问题
当起始帧和结束帧差异过大时,模型难以处理,经常会出现 “幻灯片式” 的切换。
虽然有人将其归因于 “需要进一步训练”,但我认为:
Hunyuan 模型对静态人体姿势处理很好,但缺乏平滑的动态过渡
借助 lvmin Zhang 对 Hunyuan 基础模型的改进,我们可以解锁更多可能性
我的优化
调整了生成管道代码,在变化性和帧一致性之间取得平衡
测试并调优了多个参数,以确保在大多数场景中实现平滑过渡
ComfyUI 代码参考自 HM-RunningHub/ComfyUI_RH_FramePack,并进行了修改
模型下载与存放位置
您可以从 Hugging Face 手动下载各模型,也可以使用捆绑的模型包。
1. 手动下载
HunyuanVideo
https://huggingface.co/hunyuanvideo-community/HunyuanVideo/tree/main
Flux Redux BFL
https://huggingface.co/lllyasviel/flux_redux_bfl/tree/main
FramePackI2V
https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main
百度网盘: https://pan.baidu.com/s/17h23yvJXa6AczGLcybsd_A?pwd=mbqa
夸克: https://pan.quark.cn/s/80ff4f39c15b
2. 模型存放位置
将内容复制到 models/ 文件夹,参考 HM-RunningHub/ComfyUI_RH_FramePack
text
复制
编辑
comfyui/models/
├── flux_redux_bfl
│ ├── feature_extractor/
│ │ └── preprocessor_config.json
│ ├── image_embedder/
│ │ ├── config.json
│ │ └── diffusion_pytorch_model.safetensors
│ ├── image_encoder/
│ │ ├── config.json
│ │ └── model.safetensors
│ ├── model_index.json
│ └── README.md
├── FramePackI2V_HY
│ ├── config.json
│ ├── diffusion_pytorch_model-00001-of-00003.safetensors
│ ├── diffusion_pytorch_model-00002-of-00003.safetensors
│ ├── diffusion_pytorch_model-00003-of-00003.safetensors
│ ├── diffusion_pytorch_model.safetensors.index.json
│ └── README.md
└── HunyuanVideo
├── config.json
├── model_index.json
├── README.md
├── scheduler/
│ └── scheduler_config.json
├── text_encoder/
│ ├── config.json
│ ├── model-00001-of-00004.safetensors
│ ├── model-00002-of-00004.safetensors
│ ├── model-00003-of-00004.safetensors
│ ├── model-00004-of-00004.safetensors
│ └── model.safetensors.index.json
├── text_encoder_2/
│ ├── config.json
│ └── model.safetensors
├── tokenizer/
│ ├── special_tokens_map.json
│ ├── tokenizer_config.json
│ └── tokenizer.json
├── tokenizer_2/
│ ├── merges.txt
│ ├── special_tokens_map.json
│ ├── tokenizer_config.json
│ └── vocab.json
└── vae/
├── config.json
└── diffusion_pytorch_model.safetensors
参数指南
padding_mode
仍在实验阶段——目前使用 optimized
end_condition_strength & enable_feature_fusion 可以组合使用,较低的strength会降低尾帧匹配度
较低的 end_condition_strength 提高自由度,但降低与结束帧的相似度
history_weight
控制历史影响力,默认 100%
history_decay
线性衰减历史权重;如需更多变化,可增大 decay
欢迎在 Issues 或 PR 中分享反馈或建议!