本模型由Flux.1-dev模型finetune全量微调
借助MIT 韩松大佬svdq 4位量化技术压缩
主要目的为微调源生flux模型的写实表现较弱,视觉镜头感不足,细节解析较弱问题
同时尽量不对模型整体权重造成过多偏移 导致局部权重过度拟合或灾难性遗忘除训练集外的其它权重
注意! 本模型定位为直接相机采集输出 且训练集也大多为未经修饰原图 保留更多后期余地 没有普遍模型出图的过度修饰效果 且没有针对面部数据做强化训练 美丑全靠运气
共分为3个阶段
第一阶段:冻结模型大部分层级逐步解冻transformer block Attention q k层,微调提示词token序列对齐性能 调整对标注逻辑的响应性能
第二阶段: 冻结其它层 对transformer blocks ff层进行图像拟合训练 增强视觉表现 构图
第三阶段:冻结其它层 逐步解冻single transformer blocks层 每次试验解冻7层 直至解冻到transformer block 15-18 后续测试裁剪出single transformer blocks proj_mlp proj_out层 对最终视觉呈现结果微调
合并层为BFL 适配Comfyui 提醒:webUI生成效果未经测试 谨慎使用
推荐参数:
Comfyui
采样器:DPMpp 2s a
Sigmas:beta
Shift:1.1/0.6
FluxGuidance: 3
Step: 15
推荐 通过CN放大 示例图均带有工作流
webui(不推荐)
采样器:DPMpp 2m
Sigmas:beta
CFG:1
Step: 20
正常放大即可
提示词逻辑推荐
1 主要主体
2 外貌特征 衣着
3 表情 姿态
4 背景元素和主体之间的关系
5 几何 抽象形状的形态 颜色 相对位置
6 光影 色彩基调 及造成了什么样主要氛围
组合成一段自然语言 可以使用使用大语言模型帮助写作
本模型由Flux.1-dev模型finetune全量微调
借助MIT 韩松大佬svdq 4位量化技术压缩
主要目的为微调源生flux模型的写实表现较弱,视觉镜头感不足,细节解析较弱问题
同时尽量不对模型整体权重造成过多偏移 导致局部权重过度拟合或灾难性遗忘除训练集外的其它权重
注意! 本模型定位为直接相机采集输出 且训练集也大多为未经修饰原图 保留更多后期余地 没有普遍模型出图的过度修饰效果 且没有针对面部数据做强化训练 美丑全靠运气
共分为3个阶段
第一阶段:冻结模型大部分层级逐步解冻transformer block Attention q k层,微调提示词token序列对齐性能 调整对标注逻辑的响应性能
第二阶段: 冻结其它层 对transformer blocks ff层进行图像拟合训练 增强视觉表现 构图
第三阶段:冻结其它层 逐步解冻single transformer blocks层 每次试验解冻7层 直至解冻到transformer block 15-18 后续测试裁剪出single transformer blocks proj_mlp proj_out层 对最终视觉呈现结果微调
合并层为BFL 适配Comfyui 提醒:webUI生成效果未经测试 谨慎使用
推荐参数:
Comfyui
采样器:DPMpp 2s a
Sigmas:beta
Shift:1.1/0.6
FluxGuidance: 3
Step: 15
推荐 通过CN放大 示例图均带有工作流
webui(不推荐)
采样器:DPMpp 2m
Sigmas:beta
CFG:1
Step: 20
正常放大即可
提示词逻辑推荐
1 主要主体
2 外貌特征 衣着
3 表情 姿态
4 背景元素和主体之间的关系
5 几何 抽象形状的形态 颜色 相对位置
6 光影 色彩基调 及造成了什么样主要氛围
组合成一段自然语言 可以使用使用大语言模型帮助写作