背景

美团外卖技术团队尝试结合AI技术，来协助设计师避免这种低收益、高重复的任务，同时低成本、高效率、高质量地完成海报图片的生成。本文以Banner（横版海报）为例，介绍在海报设计与AI技术结合方面所进行的一些探索和研究。

分析

什么是Banner的设计过程？

尝试总结了对Banner设计的理解，Banner的设计过程是一系列的具备某种特征属性的素材图层的有序叠加过程。

这里的特征属性既包括颜色、形状、纹理、主题等视觉属性，也包括位置、大小、贴边等空间属性。

在这个过程中，哪些环节可以被机器算法所探索呢？

图1 封面配色&布局设计[2]

在设计领域的一些子问题上，可以用算法来挖掘出数据背后的规律（如图1所示）。那么，能否构建一个完整的学习算法和处理系统，统一解决Banner设计中所有的子问题（配色、布局、搭配、生成）呢？

技术方案

素材图层是Banner的基础元素，其本身可以被特征化，同时组成Banner的若干元素间的叠加顺序可以被序列化，因此，算法实际是在学习“在什么时候，选择某种素材，放在哪里”。

图2 流程框架

如图2所示，为了解决这个问题，我们设计规划器、优化器、生成器来共同构建海报设计的学习与生产过程。其中：

1. 规划器从数据中学习设计师对不同风格下的设计习惯与规律；

2. 优化器基于美学质量和设计原则，对前者的输出结果做精细化调整；

3. 最后，由生成器选取/生成素材并渲染成图；

4. 素材库作为这三个环节的基础，负责素材管理和素材标签化。

素材库

如何提取素材图片的特征属性，这是比较典型的分类问题。在计算机视觉领域，传统方案是提取图像的颜色、梯度等低级语义特征[3]，结合传统的分类器（LR、SVM等）来实现分类。近年来，基于深度学习的方法因为能表达更为复杂的语义特征，逐渐成为主流方法[4]。如图3所示我们提取传统的低级语义特征，以及基于CNN的高级语义特征，来共同完成素材特征属性提取。

图3 素材库-特征提取

规划器

完成素材的数据化工作后，怎样学习Banner的设计过程？

作为一种生成模型，对抗生成网络（GAN）[5]在近年广为应用，其优势是可以端到端地训练图像生成模型，但在我们的应用场景下，GAN存在以下两个问题：

1. GAN的过程更像是“黑盒”的过程：输入方面，虽然Conditional-GAN之类的方法可以实现某种程度有条件地可控生成，但对于Banner设计任务来说，其输入信息（文案、目标风格、主体信息）仍然过于复杂；

2. 输出方面，GAN直接生成源数据（即图像），但非常缺乏解释性。我们需要的是更加直观、更有解释性的信息，比如素材的类型、颜色、轮廓、位置等。

在上文中有提到，Banner设计过程是素材图层依次叠加的过程。因此，我们可以用序列生成模型来拟合这个过程[6]。在建模过程中，我们把素材视作词汇（Word），海报视作句子（Sentence），词汇索引视为离散化的特征索引，素材叠加顺序就可以视为句子中的词顺序[7]。

图4 规划器-序列生成

图4是我们使用的序列生成模型，输入主体信息和目标风格，输出素材特征的序列。为了增强预测过程中多条路径结果的多样性，我们在监督性地训练每个时刻的输出之外，还引入了评估整个序列合理性的Object loss。如图5所示，借鉴SeqGAN的思想，Object loss可以由判别器来提供[8]。

图5 SeqGAN[8]

优化器

规划器预测素材的量化特征，为了确保最终成图符合美学标准，需要一个后处理的过程（图6）。我们用优化器来解决这个问题。从本质上讲，这是一个优化过程。通过和设计师们的沟通，我们设计了一些基于常规设计理念和美学标准的目标函数，动作集合包括移动、缩放、亮度调整等，结合优化方法，提升Banner的视觉效果。

图6 优化器

生成器

优化后的素材特征序列，通过生成器来渲染成图。如图7所示，对于素材库检索不到符合某种特征属性的素材的情况，我们设计了图像风格迁移的方法来实现图像特征迁移。这里的特征可以是颜色、形状、纹理等低级特征，也可以是某种语义化的视觉风格特征，对后者来说，可以将源图像的内容Content和目标图像的风格Style在某种特征空间（CNN中的某一层）里做融合，实现风格迁移[9,10]。

图7 素材生成

应用场景及功能拓展

“千人千面”的精准营销是未来营销策略的趋势，这对商品素材的丰富性提出了非常高的要求；从为商家赋能的角度来说，也需要为商家提供更多样的海报版式，这也要求系统具备海报风格的快速学习能力和拓展能力。对此，在常规设计风格的研究之外，我们从以下3个方面做了一些拓展研究。

主体图片加工

商品素材的丰富度与美学质量是精细化营销及海报美学质量非常重要的一环。其中最核心的要求是图像分割的能力[11,12]。以全卷积网络（FCN）为基础，如图8所示，我们采取以下几个在目标分割领域常见的技巧，来实现商品图片的目标分割：

1. Encoder-Decoder结构

2. 空洞卷积

3. 多尺度特征融合

4. Two-Stage微调网络

图8 图像语义分割&抠图（结构图部分参考DeepLab v3+[12]）

这种基于语义分割方法的结果，在专业设计师人工评审质量的过程中，发现主体边缘有时会出现明显的锯齿感。经过分析，我们认为有以下两个原因：

1. 语义分割模型把问题建模为一个“像素级分类过程”，每一个像素的类别都天然地被假设为“非此即彼”，大多数的Segmentation模型都采用Cross-Entropy作为损失函数；

2. 因此，无论是从模型结构（CNN）还是从损失函数的角度来说，分割模型会更倾向于全局信息从而丢弃局部结构信息，导致只能得到边缘比较粗糙的分割结果。

为此，如图8所示，我们在图像分割的输出结果之外，结合了Image Matting方法：

1. 对分割模型的输出结果做形态学变换，生成三值Trimap，分别表示前景区、背景区、未知区；

2. 应用常规的Matting方法，比如Bayesian、Close-Form等，以原图像和Trimap图像为输入，输出前景图的Alpha通道；

3. Matting可以使前景主体的边缘更加平滑，视觉质量更高（图9）。

图9 商品主体抠图

另外，基于图像美学质量评分模型，我们会优先选择质量分高的图片作为主体素材来源。对中低分的图片，未来可以考虑借鉴Cycle-GAN[13]的思想，设计基于半监督和GAN的图像增强网络，美化后再经过图像分割产生主体素材。

海报模板拓展

上述的常规设计风格的学习属于一种广义的设计风格，需要设计师先期投入很多精力做风格划分以及数据收集、处理。为了快速适配热点场景，我们借鉴图像检索技术(如图10所示)，提取素材图片的CNN特征及颜色特征，使用欧式距离来度量素材相似度，这能节省人工打标签的成本，实现基于固定模板的自动拓展及生成（海报临摹）。

图10 素材图像检索与模板拓展

多分辨率拓展

在日常工作中，设计师在设计出Banner后，往往要花费很长时间对不同展位、不同版本、不同机型做多尺寸适配（如图11所示）。能否用算法来协助人工提效？在素材已经确定，并且相互的位置关系近乎确定的条件下做多分辨率适配，这本质上是一个优化问题，我们在上文布局优化器的基础上，增加元素的局部相对位置与全局绝对位置的拓扑关系作为目标函数。目前，系统支持在某个固定宽高比±30%范围内的任意分辨率适配，未来会进一步扩大适配范围。

图11 多分辨率拓展

总结

目前，Banner智能设计系统为钻展（外卖首页广告位）、商家店铺装修等业务提供稳定的设计能力；素材加工等子能力也在为外卖、闪购等商品图片提供技术支持。
但是老铁们又有多少人真正了解人工智能呢？
每天都有人来跟我说：我想学人工智能，想深度学习，机器学习，算法等等。
其实这些我的公众号里都是可以领取这些资料的。
关注公众号回复关键字【AI】即可下一步领取！！！