Adding Conditional Control to Text-to-Image Diffusion Models
10 Feb 2023
Lvmin Zhang, Maneesh Agrawala
[Stanford University]
https://arxiv.org/abs/2302.05543
我们提出了一种神经网络结构ControlNet，用于控制预训练的大扩散模型，以支持额外的输入条件。ControlNet以端到端的方式学习特定于任务的条件，即使训练数据集很小（<50k），学习也很鲁棒。此外，训练ControlNet与微调扩散模型一样快，而且该模型可以在个人设备上训练。或者，如果强大的计算集群可用，该模型可以扩展到大量（数百万到数十亿）数据。我们报告称，Stable Diffusion等大型扩散模型可以通过ControlNets进行扩展，以实现边缘图、分割图、关键点等条件输入。这可能会丰富控制大型扩散模型的方法，并进一步促进相关应用。
扩散模型(diffusion model)可以生成高质量的合成图像，尤其当基于某种条件引导(guidence)时，...
编者整理中...... 同一开源下的另一篇论文是著名的Latent-Diffusion，请参考：https://w...
字体和图像不一样，字体是矢量，PS不会添加新的内容到图像，他只会平均像素，但是程序可以重画文本层。还可以把文本和图...
laravel 预处理 setAttribute 在模型中添加 将列表的数据 加条件 在控制器中添加 还有一个简单...
coursera deeplearning一、机器翻译和自动添加图像字幕的基本模型机器翻译 自动添加图像字幕 二、...
需求：把预备好的文本，选择性拖拽到输入框 1，添加文本框 2.添加文本组 3.给拖拽的span 添加单击选中文本的...
使用数据工具，您可以向设计中添加不同的图像和文本，以创建逼真的模型和原型。 默认情况下，sketch中包含许多数据...
1、添加注解 1.1 添加文本注解 可以使用annotate()函数对图像进行添加注解： geom表示添加注解的类...
最近，扩散模型改进了生成图像生成，从而在各种任务中获得了出色的视觉质量。随着强大的多模态模型(如CLIP)的出现，...
本文由币乎(bihu.com)优质内容计划支持 创新扩散模型理论最早是由Everett Rogers于1962年提...
本文标题：ControlNet：给从文本到图像扩散模型添加条件控制
本文链接：https://www.haomeiwen.com/subject/fybykdtx.html
网友评论