LORA工作流优化_202604_Reflective Practice Log
- issac zhang
- 3 days ago
- 5 min read
项目名称
木版画风格 AI 工作流优化：从结构控制到风格重绘
1. 项目目标
本项目的目标是优化一个两阶段 AI 工作流，使输出同时满足四点：
结构稳定：人物朝向、五官位置、相对关系不明显跑偏。
允许形变：保留参考图的大体构图，但不是直接复制。
木版画特征明显：有印痕形成的黑块、清楚的留白和较强的黑白关系。
LoRA 真正起作用：最终效果接近目标木版画 LoRA，而不是只停留在线条变化。
*我需要建立一个comfyui的工作流去解决：从草图-style frame-Re styleframe的过程
2. 评估标准
每一轮实验统一看四项：
结构：脸和构图稳不稳
风格：LoRA 变化强不强
黑白关系：黑块、留白是否清楚
失败症状：是否发白、粉化、噪点太多、纹理堆积
3. 时间顺序记录
第 1 轮：单阶段低步数测试
设置
steps = 2
cfg = 1
Turbo LoRA weight = 1.0
Zhima LoRA weight = 1.0
Lineart ControlNet strength = 0.30
Depth ControlNet strength = 0
结果
人物结构基本稳定
面部关系大致正确
木版画风格变化较弱
判断
在低步数和强控制下，结构优先，风格变化有限。简单解释：先把脸和位置保住了，但木版画风格还没有真正展开。
具体问题
只有 1 个 KSampler，实际上还是单阶段。
Depth strength = 0，空间控制没有真正参与。
输出更像“结构正确的风格化线稿”，不像最终木版画。
下一步
把“保结构”和“出风格”拆开，尝试两阶段 workflow。
第 2 轮：单阶段高步数测试
设置
steps = 15
cfg = 3.5
Turbo LoRA weight = 1.0
Zhima LoRA weight = 1.0
Lineart sigma = 6
Lineart threshold = 8
Lineart ControlNet strength = 0.28
Lineart end = 0.85
Depth ControlNet strength = 0
结果
面部结构比上一轮更稳
黑白对比增强
但出现明显的发白、粉化、纹理堆积
判断
提高步数后，图像细节变多，但木版画特征没有同步增强。简单解释：细节更多了，但黑白关系没有更清楚，反而出现很多碎纹理。
具体问题
Turbo LoRA 仍然是 1.0，但步数已经升到 15。
Lineart end = 0.85，线条控制持续太久。
正向 prompt 中有 few solid black fill areas。
负向 prompt 中排除了 smooth shading。
为什么这是问题
Turbo LoRA + 高步数 会让画面更容易出现过强纹理。简单解释：前面的加速控制太强，后面就容易变成“纹理越堆越多”。
Lineart 持续到 0.85 会压住后期风格变化。简单解释：线条规定得太久，LoRA 后面只能在表面加效果。
few solid black fill areas 会削弱大黑块。简单解释：你让模型少用黑块，它就更容易用碎纹理补画面。
下一步
移除 Turbo，缩短 Lineart 控制时间，进入两阶段测试。
第 3 轮：引入两阶段 workflow
设置
第一阶段：只做结构锁定
第二阶段：VAEEncode → KSampler_2 做 img2img latent 重绘
准备让 Turbo 退出第二阶段
主结构预处理器开始从 Lineart 转向 SoftEdge / HED
结果
第一阶段结构稳定，可以作为中间稿
第二阶段相对于第一阶段，风格变化更明显
最终图比前两轮更接近目标 LoRA
判断
两阶段 workflow 比单阶段更适合当前项目。简单解释：第一步先把位置定住，第二步再专门做风格，这样更合理。
具体问题
第一阶段已经带入较强刻痕纹理。
第二阶段更多是在前一张图上“继续加工”，而不是重新组织黑白关系。
为什么这是问题
第一阶段表达过多，会减少第二阶段的调整空间。简单解释：第一步已经“画太多”，第二步能改的就少了。
下一步
让第一阶段更中性，只保结构；把主要风格变化放到第二阶段。
第 4 轮：三联图测试（输入 / 一阶段 / 二阶段）
观察对象
左：输入图
中：第一阶段
右：第二阶段（最终）
结果
第一阶段完成了结构翻译
第二阶段明显加强了风格
二阶段优于一阶段，LoRA 确实参与了最终图像
评分
结构稳定性：9 / 10
第一阶段结构翻译：8.5 / 10
第二阶段风格推进：6.5 / 10
木版画特征成立度：5.5 / 10
判断
当前结果已经不是简单线条改造，而是进入了初步的木版画方向。简单解释：它已经比“风格化线稿”更进一步了，但还没有完全到目标效果。
具体问题
黑区已经形成，可以理解为印痕形成的黑块。但黑块的边界、分布和与留白的关系还不够清楚。简单解释：黑已经有了，但黑白组织还不够干净。
白区不够干净，留白不够明确。简单解释：画面里“该空的地方”还不够空。
中间调仍然偏多。简单解释：黑白之间还有不少灰，让木版画感觉不够果断。
下一步
继续削弱第一阶段的纹理生成，提高第二阶段对黑白关系的主导权。
4. 当前确认下来的有效结论
已验证有效
两阶段 workflow 比单阶段更适合当前目标。简单解释：结构和风格分开做，结果更清楚。
Turbo LoRA 不适合当前最终目标。当 steps > 6 时，Turbo 更容易带来过强纹理和粉化。简单解释：它适合快，不适合细做最终风格。
Lineart 更适合锁线，SoftEdge 更适合保面边界。简单解释：如果目标不是纯线稿风格，SoftEdge 更合适。
关键点
Depth strength = 0.15-0.1 基本等于没开。简单解释：区分不同物体的前后关系
Lineart end = 0.85 ~ 1.0 会压制后期风格变化。简单解释：控制太久，LoRA 后面不容易发挥。
few solid black fill areas 会削弱黑块。简单解释：它会让模型不敢用足够大的黑。
负向 prompt 直接排除 smooth shading，但没有补足块面逻辑。简单解释：灰阶被赶走后，模型会用碎纹理来填空。
5. 当前最核心的反思
本项目最初的问题，不是“像不像木版画”，而是工作流的任务分配不清楚。
前面的实验说明：
结构控制和风格生成不能完全放在同一步里做。
简单解释：本来应该分两步做的事情，之前放在一步里做了，所以结果总是折中。
目前已经明确的是：
结构问题基本解决了
LoRA 也已经能参与
现在最主要的问题是：黑白关系还不够清楚，留白还不够明确
6. 下一轮实验计划
下一轮只改 4 个变量
移除 Turbo LoRA：weight = 0
第一阶段主预处理器改为 SoftEdge / HED
第二阶段 denoise 提高到 0.55 ~ 0.62
正向 prompt 删除 few solid black fill areas，改为强调更明确的黑白关系
保持不变
参考图
输出比例
Zhima LoRA 基础权重（先维持 1.0 ~ 1.15）
两阶段总体结构
7. 简短结论
当前项目已经基本解决了“结构不稳”的问题，但还没有完全解决“木版画黑白关系不够清楚”的问题。
下一阶段的重点不是再加强控制，而是：
让第二阶段更清楚地决定哪里该黑，哪里该白，哪里该留空。
*我个人觉得这个 workflow 已经蛮好
Comments