Imagen【推荐试用】

我们提出了Imagen，一个文本到图像的扩散模型，具有前所未有的写实主义程度和深度的语言理解。Imagen建立在理解文本的大型变压器语言模型的基础上，并依赖于在高保真图像生成中扩散模型的强度。我们的关键发现是，在纯文本语料库上进行预训练的通用大型语言模型(例如T5)在编码用于图像合成的文本方面惊人地有效:在Imagen中增加语言模型的大小比增加图像扩散模型的大小更能提高样本保真度和图像-文本对齐。Imagen在没有经过COCO训练的情况下，在COCO数据集上获得了7.27的最新FID分数，并且人类评分者发现Imagen样本在图像-文本对齐方面与COCO数据本身不相上下。为了更深入地评估文本到图像模型，我们引入了DrawBench，这是一个全面且具有挑战性的文本到图像模型基准测试。使用DrawBench，我们将Imagen与最近的方法进行了比较，包括VQ-GAN+CLIP、潜在扩散模型和DALL-E2，并发现人类评分者在并排比较中更喜欢Imagen，无论是在样本质量还是图像-文本对齐方面。