学设计的人，看到这个会瑟瑟发抖！

会员服务 ·

学设计的人，看到这个会瑟瑟发抖！

2018 年 10 月 15 日 腾讯大讲堂

哈喽，欢迎来到【腾讯微创新201808期】

今天要跟各位糖粉介绍的是

一位来自优图/X-Lab实验室的AI设计师

其实TA的真身是：#AI智能模式生成banner#

让你轻松变身设计师

再也不用跪求设计师做banner

看看新功能怎么玩？

腾讯内容型产品近两年在不断孵化壮大，例如短视频、直播、音频等，这些都拥有极其高频的内容推广设计需求。

即使公司在不断扩建设计CP供应商，但出图效率慢，设计标准、质量参差不齐，紧急热点响应速度慢，假期需求供应减少等原因，导致跟图成为运营最低效的一环，并且直接决定运营热点跟进的敏捷性。

而腾讯优图实验室图片识别AI智能技术也一直在行业内处于领先地位，基于企鹅FM运营诉求，双方沟通探讨围绕三个研究方向进行了功能实现，分为

1、智能制图：根据企鹅FM一级二级分类标签，内容推广主副文案，以及图片背景素材标签等信息特征，检索优图实验室提供近十万张的图片素材库，筛选最符合主题特征10张素材背景进行规格裁AI智能裁剪，一键"傻瓜式“生成banner成品1-3张，勾选符合预期的成品右键保存即可使用。

2、半智能模板制图：在智能制图基础上，针对素材相对难找且小众的品类，增加多一步人工操作路径，先匹配AI素材库的素材进行指定形状抠图，再与运营积累的固定背景素材进行合成匹配，生成半智能模板设计图；

3、模板制图：在半模板智能制图基础上，设计构图、字体样式、素材背景等以固化储备模板进行合成，主要是作为智能制图的补充应急场景，如固化节日、紧急社会热点、娱乐大事件等类型化运营需求的支持。

新功能的“创新文化”在哪里？

随着人工智能时代的到来，设计与人工智能的纠葛，艺术与科技的博弈，越来越频繁地现身热门话题榜。而在设计人工智能领域，阿里巴巴早已加速探索推出“鹿班”AI设计系统，广泛应用于自家电商平台的各项推荐体系，为庞大的商品运营推广提供了便捷的流程服务，降低了公司运营成本。

“鹿班”AI设计系统主要服务于电商场景，内容相对简单（包括商品，人物，文案和logo等），排版可以依据模版产生。

以企鹅FM为代表的大量应用场景属于背景复杂的banner。背景图片需要匹配文案输入，变化多样，无法预先设置，从而导致排版无法依赖模版，文案颜色也需因图而异，Banner生成更具挑战性。相比与竞品（如下图），该系统包含以下几点创新去生成背景复杂的banner：

1） Banner设计场景下图片的搜索和智能裁剪；
2）图文智能排版；
3）文案颜色智能选取。

创意背后的小故事

企鹅FM作为内容型平台，日常会产生非常多内容运营图片设计需求，与CP沟通对接过程中经常出现设计审美不达标，找素材难，出图慢等问题痛点，导致出图效率经常无法快速响应内容运营诉求。

与音频实验室曾经合作过采用AI技术模拟主播声音将文字转音频等智能化体验，在优图实验室各种爆款P图传播案例出现时，对于当下AI智能技术特别是图片识别能力上有了新的认识，因此考虑是否也可以类似语音AI技术，可以直接基于素材模板快速识别匹配生成焦点图。

恰好优图实验组也在开启类似项目研究，因此企鹅FM作为试点训练项目与优图实验组建立了专项小组，一起推动实现能力。

创意要怎么落地？

图1展示了系统的设计框架

系统设计满足以下需求：运营给定文案，可以搜索得到推荐的背景素材图，再选取合适的素材图之后自动生成banner。系统包含四个子模块：素材图库，图片预处理模块，图片搜索引擎和banner生成引擎。

素材图库：公司现有的设计云包含大量图片，但是图片来源全景网等网站，使用需要付费，否则面临版权风险。为了节省成本，我们从外网免费授权商业使用网站，爬取了总量一百万的图片，特别包含了一些设计师常用的高质量图片网站如https://unsplash.com/。

图片预处理：现有的裁图大多是为了保留图片美学价值的前提下裁出图片的显著区域，不会考虑图片用于生成banner的情况，也就不会考虑在裁剪图片中留出文案的位置。本系统的智能裁剪需要保留图片的美学价值，兼顾图文融合的平衡性。

图2展示了本系统智能裁剪的效果，我们使用Mask-RCNN首先检测图片内物体的类型分布，然后基于图片中显著物按照特定比例进行裁剪，并使用一个美学评估网络选取美学价值最高的生成图作为最终选择。

此外，我们使用并行Kmeans提取了图片的主题色，并使用VGG16网络提取图片的深度特征用于颜色选取。

图2 智能裁剪示例

图片搜索引擎：首先我们使用elasticsearch使用关键词搜索建立召回。然后，我们计算文案和匹配标签词向量相似度，并融合图片美学评分，进行排序，返回得分最高的图片。

Banner生成引擎：Banner生成引擎包含两个核心模块，智能排版和颜色选取。智能排版如图5所示，主要包含两个步骤：

第一步：对文案进行基于主题类型的排版，比如情感类型和小说类型。在每一种主题类型下，对现有的海报广告进行归类总结出一定数量的模板（大约三十种）；然后对于任意一种输入文案，使用一种近邻搜索算法找到最匹配的一种主题模版进行文案排版。
第二步：旨在背景图片中找到最佳位置适配生成的文案模块以保证视觉平衡和广告排版的整体美学。首先对背景图提取显著图，进一步提出了一种基于显著图的能量函数去表征整图的视觉平衡和整体美学，然后使用网格搜索去寻找最佳的文案排版位置来实现整体的图文排版。

图3 智能排版流程

智能颜色选取模块以背景图片提取的VGG特征和背景主题色为输入特征，文字的颜色为预测目标，使用有监督学习的方式来训练现有的banner。进一步我们可以使用训练的模型，在给定背景图片VGG特征和主题色的情况下预测文案的颜色。

这里有个小彩蛋

AI设计师是优图实验室针对企鹅FM运营中Banner自动生成需求推出的智能解决方案，目标是帮助业务团队快速、高效地生成Banner，并且尽量降低团队对外包CP的依赖，降低运营成本。目前推出的AI设计师只是一个开始，之后我们还将加入更多的功能，比如图片搜索氛围匹配、背景图片的修饰渲染、文案的修饰渲染等。