type
status
date
slug
summary
tags
category
icon
password
Last edited time
Mar 16, 2024 07:01 AM
只用文本作为prompt真的够吗？
ControlNet
lllyasviel • Updated Jan 11, 2024
📝 主旨内容
效果
特点
- 十几种不同的控制输入：边缘图，分割图，深度图等
- 模型可在小数据集上(<50k)上训练，也可在数亿级别的数据上训练
- 模型可在在个人的消费级显卡上训练，如RTX 3090Ti。极限情况下可以在RTX 3070Ti上训练
- 仅多消耗了
23%的显存和34%的训练时间(模型是原来的1.5倍)
模型
零卷积：权值为0的1X1的卷积——初始直接用训练好的权重会加速收敛
随机掩盖掉50%的文本promotion，来更好地学习控制条件
冷知识
Stable Diffusion用的是50亿的LAION数据集训练的
Stable Diffusion训练需要150000的A100小时
其他控制输入
为什么还要加入promotion？
控制信息和文本信息相辅相成，但是这两个组合起来可以cover全部情况吗？？
🤗 总结归纳
📎 参考文章
- 作者:ziuch
- 链接:https://ziuch.com/article/ControlNet
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章