Smartbanner: Intelligent banner design framework that strikes a balance between freedom and rules

smartbanner是智能合图系列产品，具体可见论文：Smartbanner: intelligent banner design framework that strikes a balance between creative freedom and design rules

Abstract:公司广泛使用banner来宣传其产品，banner的智能化自动合成是件具有挑战性的事件。在只输入商品文案尺寸等少量信息的前提下，合成自由度高且丰富的样式风格，但同时必须满足广告主对于投放广告和场景的设计规范。我们提出了一个在创意自由度和设计规则中取得平衡的智能化banner设计框架，称之为smartbanner。Smartbanner由规划器，行动器，微调器和生成器组成，通过组合式的框架合成banner，它充分解放了设计师，降低设计的门槛和成本。它提升点击率30%，保证创作质量的情况下，提升设计师人效500%，全年批量合成图片数亿张。

1.Introduction

banner设计在现代生活中无处不在。创建和完善设计可能很耗时，并且需要相关专业知识来清楚地传达信息，同时还要满足审美需求。尽管原创设计更具艺术性，但创建一系列具有一致视觉外观的设计必须符合一些可衡量的规则。在进行投放时，不同的广告主对banner的设计往往会提出自己的投放需求，且它们投放的位置或者场景不同，如信息流，横通联版等广告位，头图，社交分享小程序等，不同的场景和投放位置要求设计师对同一主题的物料需要反复的修改，即便是同一样式的banner图，也要花费大量时间，且不同广告位对设计也加以约束。当然对于设计人员来说，当需要完成一个创意十足的新banner时，创建一个有效果且符合设计要求的图可能既困难又耗时[1,2]，给定商品图和文本描述，设计师需要考虑大量的设计元素以满足美学要求。随着对创意设计的需求不断增长，智能化设计不仅能够大大的减少设计师的工作量，还为设计师产生了新的想法和灵感。

Banner通常由背景，商品，文案，装饰物，标识，和文案绑定蒙层以及和商品绑定的蒙层等组成，文案中包括了主标题，副标题和行动词，商品也可能是一个或者多个，banner设计是个复杂的问题，很难存在兼具创意而又符合设计规范的端到端设计方案。之前有基于风格样式的拓扑变换[3]，这种风格变换的样式产生的后果是设计的布局和样式看起来比较单一，相较于原图而言，可能仅仅只是左右或者上下布局的改变，体现不出创意能力，也有一些自动生成图形设计的技术，但他们主要侧重于安排用户指定的图像和文本的布局[4,5,6]。创意banner在设计上，首先要考虑两个问题，第一是是要解决布局问题，如何产生一个美学上，语义上都和商品匹配的模板很重要。其次是核心模块的布局与微调，包括文案区域和商品区域布局以及相匹配元素蒙层的调整，在电商场景下，文案是比较核心的宣传语，商品对人群的触动点很多隐藏在文案中，文案的布局尤其重要，多商品排列也是影响banner的关键之一，他们的元素布局、和绑定的装饰物的组合以及蒙层的选择要体现出所选的上下文与产品图像的语义一致，并确保设计元素的颜色、形状和大小相互协调。除此之外，隐藏在banner设计中的另外两个因素也至关重要，首先banner的创意性不仅来源于设计元素和模板本身的组合，也来源于历史点击率的体现，因此考虑将点击率信息融入到创意设计中，根据场景数据的滚动对生成的banner做精排和优选[7,8]。其次创意banner往往只输入商品文案和尺寸，便可以自动化的生成创意图，因此在设计上是个自由度很高的过程，在布局元素排版上可以存在很多种结果，这个过程对多样性要求很高，然而广告商需要有规则输出的banner，因此我们的算法在自由度和规则中取得平衡，输出的图广泛的应用到信息流和易购主站的首页上。

我们的banner创意设计只需输入商品文案和尺寸，便可以自动化的生成创意banner，极大的解放设计生产力，我们称之为smartbanner。Smartbanner由规划器，行动器，微调器和生成器组成，其中规划器通过模板召回，模板粗排，创意精排在模板库中筛选模板，找到良好布局，创意精排是融合了图像文本历史点击率等信息的监督模型，良好的布局是成功的一半；行动器由一个尺寸拓展工具，文案排版模型和多商品模板规则构成，微调器维护了一个元素检索器和微调算法集，对模板中的元素进行调整和替换。生成器则是根据精细调整后的banner进行合图。Smartbanner是兼顾了自由度和设计规则的智能设计框架，既保证了良好的创意性，又保证了设计的规范性，在电商场景下，设计的规范性是很重要的。Smartbanner也是个组合式的设计框架，支撑了苏宁易购几乎所有自动化智能设计服务，在广告投放中，设计师只需设计少量基础模板，就可以生成海量banner，通过更好的商品创意搭配，提升点击率30%，保证创作质量的情况下，提升设计师人效500%，全年批量合成图片数亿张。

在本文中我们的贡献是：

1. 提出了smartbanner。Smartbanner是兼顾了自由度和设计规则的智能设计框架，仅需输入商品文案和尺寸信息即可完成banner设计，由规划期，行动器，微调器和生成器组成。她既保证了良好的创意性，又保证了设计的规范性，在我们关注的banner设计的创意性和规范性中取得了平衡，并且基本取代了简单重复的banner设计工作，解决了设计师，适合多个电商场景

2.smartbanner将点击率信息融入到创意设计中，根据场景数据的滚动对生成的banner做精排和优选，我们不仅关注创意设计的合理性，我们也关注创意设计的有效性，通过元素组合设计提高ctr

3.在行动器中引入了神经网络设计的文案布局模型，支持多商品输入以及尺寸拓展模块，不强行依赖召回的模板尺寸，可以支持任意尺寸banner输出，我们观察到不同场景的创意设计要求，引入了多样性，摆脱场景对banner的约束，极大的解放生产力。

2.方法

Smartbanner由规划器，行动器，微调器和生成器构成，其中规划器是为了获取好的布局设计，借助模板召回，获取布局设计模板后，行动器分别对banner中的商品和文案区域进行布局，微调器构建基于美学标准和一些设计规则的评估算法，对布局后的元素，商品，文案做进一步的微调，最后是生成器，生成器将已经制作完成的模板渲染成图。整体流程图如图1所示。

2.1 规划器

如何获取布局？好的布局是成功的一半。我们可以通过layoutgan[4/dcgan[19种端到端的方法来直接生成布局，但这种生成布局的方式往往面临着两大缺点，1.端到端的生成，自由度过高，效果不可读，生成的布局中badcase过多，不能够满足广告主的设计需求，2.对标注要求高，在有限资源的情况下，很难在初始阶段给出一个相对生成效果较好的布局，然而过拟合的布局也不满足多样性的设计。因此在自由度和设计规则的平衡下，我们选择了模板库的布局生成方式，预定义的模板能够提供相对规范的设计布局，通过在模板维度增加设计约束，得到规范的满足广告主要求的元素和布局设计。并且对于不同的场景我们可以提供不同的事业部和模板组对应关系，限制创意的自由度，保证生成的结果高可用。

2.2 行动器

行动器主要包括两个方面，包括获取目标尺寸的尺寸拓展模块，文案排版和商品排版模板。在规划器获取一个良好的布局之后，我们要对输入的文案区域进行重排，当输入多个商品之后，我们也需要对商品区域进行组合来满足广告主的需求。

2.3 规划器

微调器是输出模板的最后一步，类似足球场上的守门员角色。在动态微调环节，我们认为设计的风格已经基本确定，参考设计师创造过程，需要进行一些调整处理使其进一步符合美学的标准。

微调器在结构上负责两部分的工作，第一部分是语义元素检索，为了更好的适应输入的重构之后的商品和文案区域以及尺寸上的变化，保证banner在语义信息上的协调和统一，我们对原始的模板中的图层信息进行分析，借鉴设计师的常规设计理念与设计规律，根据banner情况添加商品或文字修饰图层，同时构建模板匹配算法，对从图片模板库中筛选出和重构后banner语义信息一致的素材元素进行替换。

第二部分是维护一个微调算法集合，这个优化过程使用强化学习实现，动作集合包括移动、图层顺序调整、变色、缩放、透明度调整等，美学和效果的评价采用了布局配色是否合理、有无遮挡类似这样的一些基本设计原则，同时也结合了背景简洁，主体内容要突出，文案行数和比例要协调等一些业务特点的评价标准。通过控制评价函数的设计和配置，我们兼容了不同场景的业务特点，使受限配置规则与一般美学规则自然融合，让其能保证颜色的统一，又能保证广告图的视觉冲击力，和一些复杂对齐规则的整齐统一。

2.4 评估

图像的评估相对比较主观，主要可以从美学和效果两方面来评估。美学角度可以包括是否对齐、色系搭配是否合理、有无遮挡这些较低级别的判断标准，以及较高级的，比如风格是否一致，是否切合主题。从效果上，产品投放后是否会在点击率等方面实现提升。我们建立了新的模块智能优选，负责溯源模板的生成和最终点击率的回归，将生成节点和推荐特征embedding组合，形成推荐模型，从而提升ctr。

3.结果

Smartbanner应用于多个场景中，且伴随着模板库的变化和丰富可以合成各种各样的banner图。Smartbanner已在苏宁多个场景落地，在生产环境中部署了48台cpu机器集群，采用 Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz 8G10C，centos7.3，在smartbanner中合成器的耗时最多，尤其面临多图层的banner时，合成速度与图层数成正相关。在平均7层的banner中，samrtbanner单图合成200ms左右，，并且我们对模板psd进行提前解析组成木牛数据格式，我们展示了部分smartbanner的合成图，如下所示，并且我们展示了鹿班和玲珑对比的结果（我们采用了鹿班和羚珑官方网站的合成接口测试），羚珑只支持一行和两行文案输入以及有效尺寸，鹿班可以支持一到三行的多行文案输入，但是也支持有限尺寸，smartbanner可以支持一到三行输入且不限输出尺寸。从合成结果看玲珑和鹿班的配色都比较不协调，smartbanner通过粗排可以优化这一点，玲珑和鹿班的文字排版也比较生硬，smartbanner通过文案布局模型对一点解决的更好。

Smartbanner: Intelligent banner design framework that strikes a balance between freedom and rules相关推荐

《高效的项目和团队》
Productive Projects and Teams是一本好书. 许多其中许多关于管理和沟通的精辟言论让我大有相见很晚之感.其实不仅是软件的开发项目,任何项目,甚至任何行业的管理,都首先是对人的 ...
超越Android：Kotlin在后端的工作方式
by Adam Arold 亚当·阿罗德(Adam Arold) 超越Android:Kotlin在后端的工作方式 (Going Beyond Android: how Kotlin works on ...
pip安装deb_技术|如何在 Ubuntu 上安装 pip
pip 是一个命令行工具,允许你安装 Python 编写的软件包. 学习如何在 Ubuntu 上安装 pip 以及如何使用它来安装 Python 应用程序. 有许多方法可以在 Ubuntu 上安装软件 ...
magic feature_停止将PostgREST称为“ MAGIC”！
magic feature by Ruslan Talpă 通过RuslanTalpă 停止将PostgREST称为" MAGIC"! (Stop calling PostgRES ...
node.js共享输液检测系统毕业设计源码131105
共享输液检测系统的设计与实现摘要信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课 ...
史上最全 2019 ICRA顶会四足机器人文献整理
史上最全 2019 ICRA顶会四足机器人文献整理一.ICRA论文集中相关文献对应subsession时间二.文献整理内容一.ICRA论文集中相关文献对应subsession时间 15:15-1 ...
《97 Things Every Software Architect Should Know》读书笔记
(从网上搜集的,并且整理为DOC文档,希望大家可以从这篇文章中学到更多的东西, 我准备将该文档翻译成中文,大家可以不定期的访问我的博客http://blog.csdn.net/jianglike18) ...
(转)架构风格与基于网络的软件架构设计（介绍REST）
随着软件水平在国内的发展,中国程序员的水平也逐渐的在提高,从当年英雄式,到后来的软件作坊,现在越来越多的人开始关注软件架构设计,软件架构师培训也越来越火了,,甚至也有国人自己编著软件架构设计方面的书籍 ...
EDA技术的发展与应用外文翻译
英文资料及中文翻译 Development and application of EDA technology EDA (Electronics Design Automation) technolo ...

Smartbanner: Intelligent banner design framework that strikes a balance between freedom and rules

Smartbanner: Intelligent banner design framework that strikes a balance between freedom and rules相关推荐

最新文章

热门文章