InstructPix2Pix: Learning to Follow Image Editing Instructions
原文:https://arxiv.org/abs/2211.09800
开源:https://www.timothybrooks.com/instruct-pix2pix (2.8k stars)
摘要:我们提出了一种根据人类指令编辑图像的方法:给定输入图像和告诉模型要做什么的文本指令,我们的模型遵循这些指令来编辑图像。为了获得这个问题的训练数据,我们结合了两个大的预训练模型——语言模型(GPT-3)和文本到图像模型(稳定扩散)——的知识来生成一个大的图像编辑示例数据集。我们的条件扩散模型InstructionPix2Pix基于我们生成的数据进行训练,并在推断时推广到真实图像和用户编写的指令。由于它在正向过程中执行编辑,并且不需要每个示例的微调或逆转,因此我们的模型在几秒钟内快速编辑图像。我们展示了各种输入图像和文本说明的令人信服的编辑结果。
网友评论