DALL·E 是 OpenAI 推出的模型，以优秀的生成效果和艺术色彩著称。今年 4 月，OpenAI 发布了文字转图像新模型 DALL·E 2，为图像生成和处理领域树立了新的标杆。只需输入简短的文字 prompt，DALL·E 2 就可以生成符合描述的图像，其中多种对象以语义上合理的方式组合起来。
以往对于 DALL·E 2 的测试通常是把一些具体的物体组合成一幅图像，比如图像中包含「骑着马的宇航员」，DALL·E 2 轻松就能完成这个任务：
那么，在小说等文学作品抽象的笔触下，DALL·E 2 能生成怎样的角色形象呢？
一些小说已被成功改编成电影，角色形象深入人心，符合原著读者的心理预期。这是电影制作方的努力，如果让 AI 模型 DALL·E 2 创造角色形象，会是什么结果？
近期，一位名为 Jim Clyde Monge 的博主在 medium 上公开了自己对几部经典电影作品进行了实验，我们先来看一下生成结果。
例如，《哈利波特》原著中对赫敏的形容是这样的：「一个声音霸道的女孩，她有一头浓密的棕色头发和相当大的门牙。」电影形象和 DALL·E 2 生成结果如下：
或许你觉得这两个形象大相径庭，并且因为艾玛 · 沃特森的颜值偏爱电影版一些，但不得不说，DALL·E 2 的生成结果是符合原著描述的。
我们再来看看另外两位主角哈利和罗恩。原著中哈利 · 波特是「一个瘦脸、黑发的男孩，他戴着圆框眼镜，眼睛是绿色的，额头上有很浅的疤痕」。
原著描写罗恩是「一个高高瘦瘦的男生，脸上长有雀斑，有一个长鼻子，手脚都大」。
综合来看，DALL·E 2 的生成结果是符合原著文字描述的，但并不符合人们的审美。这可能是因为小说对人物形象的刻画不是完全具体的。反观电影的形象，倒是和原著描述有几分出入。
然而，如果用 DALL·E 2 生成的形象制作电影，观众可能不会买单，因为这不符合人们的审美观念。这也说明了 AI 和人类智能存在差距——AI 主要是根据文本数据生成关键要素。
仅凭《哈利 · 波特》一部电影还不足以说明这种情况，博客作者又对经典作品《指环王》进行了实验，其中佛罗多 · 巴金斯的对比结果是这样的：
这两个形象不仅是样貌不同，年龄上似乎也有很大差距。但这也不能怪 AI，毕竟佛罗多在原著中的设定就是 50 岁，只是书中的霍比特人比普通人更长寿，平均寿命 100 岁，33 岁才算成年。而 DALL·E 2 显然是不了解这个冷知识。
再看看另一个角色阿拉贡二世，不得不说，DALL·E 2 这次生成的形象俊朗了很多。原著对他的描写是：「蓬松的头发上点缀着些许银灰色，眼睛炯炯有神，与头发中的银色交相辉映。」
感兴趣的读者可以自己尝试用 DALL·E 2 生成电影角色，生成结果可能和电影形象差距很大。但我们不禁思考：这是由于 AI 存在缺陷，还是因为艺术创作本身的人文性？
https://medium.com/mlearning-ai/ai-reimagines-10-harry-potter-characters-based-on-book-descriptions-3e6b312720a7
https://medium.com/mlearning-ai/ai-reimagines-lord-of-the-rings-characters-as-described-in-book-36365bdc45e5
公众号后台回复“ECCV2022”获取论文分类资源下载～
微信扫码咨询专知VIP会员