DALL-E 人工智能的艺术家

CSDN话题挑战赛第2期
参赛话题：人工智能的【能】与【不能】

*人工智能已经迎来第三次浪潮，一方面，人工智能已经应用于社会的方方面面，并日益发挥着无可替代的作用；另一方面，人工智能存在着局限性以及争议。你对人工智能的应用场景或人工智能的争议有什么理解呢？快来分享一下吧！

选择一：人工智能的【能】

应用场景

超现实主义强调梦幻与现实的统一才是绝对的真实，而如今OpenAI创造的DALL·E图像生成器，能够直接通过文本描述生成类似超现实主义的图像，让机器也能拥有顶级画家、设计师的创造力。

人工智能技术

DALL.E:
论文链接：https://readpaper.com/paper/672206509969932288

应用现状

先感受一下DALL·E生成图像，下图是当我们输入文本"牛油果形状的扶手椅。仿梨型的扶手椅。"时的图片输出DALL·E果然生成了众多画风不同的超现实主义的图片，像真实存在的一样。

DALL·E的整体流程如下：

1.第一个阶段，先训练一个dVAE把每张256x256的RGB图片压缩成32x32的图片token，每个位置有8192种可能的取值(也就是说dVAE的encoder输出是维度为32x32x8192的logits，然后通过logits索引codebook的特征进行组合，codebook的embedding是可学习的)。

2.第二阶段，用BPE Encoder对文本进行编码，得到最多256个文本token，token数不满256的话padding到256，然后将256个文本token与1024个图像token进行拼接，得到长度为1280的数据，最后将拼接的数据输入Transformer中进行自回归训练。

3.推理阶段，给定一张候选图片和一条文本，通过transformer可以得到融合后的token，然后用dVAE的decoder生成图片，最后通过预训练好的CLIP计算出文本和生成图片的匹配分数，采样越多数量的图片，就可以通过CLIP得到不同采样图片的分数排序(详细过程可以看非官方实现DALLE-pytorch/dalle_pytorch.py)。

未来发展

DALL-E已经向我们展现了惊人的创造力，后续生成模型又会带给我们什么样的惊喜呢？