会深度学习就能为所欲为吗，先来一打表情包，再加个图说

前言

12月23日，微信朋友圈评论可以发表情包的消息，让沉寂已久的朋友圈硝烟四起！只要你的微信ios端更新至7.0.9版本！就可一键开启快乐斗图模式。然而不少安卓用户还无法使用这个功能，只有安卓最新版（7.0.10测试版）才支持该功能。安卓用户纷纷表示“用户退出群聊”

12月25日上午，网友们陆续发现表情包评论功能已被微信暂停，只剩下默认的表情可以使用

微信官方对此回应表示：此前，我们对朋友圈评论发送表情包功能进行灰度测试，部分用户更新7.0.9版本后可使用。目前，该功能已暂停！

手慢一步的吃瓜群众表示：我还没开始，你就结束了？

针对此次事件，小会君决定蹭下热度！对，你没听错，只是为了蹭热度！给大家安利两篇利用深度学习制作表情包的论文！妥妥地AI科技造福人类啊！

1. 国外的笑点你能get吗？

代码地址：https://github.com/alpv95/MemeProject论文地址：https://arxiv.org/pdf/1806.04510v1.pdf

斯坦福大学的两个学生Abel L. Peirson V和E. Meltem Tolunayl早在2018年6月份就按捺不住寂寞，利用深度神经网络制作了表情包生成器，并发表了预印版文章。该研究的主要工作是根据图片内容生成有关联的说明。

首先，让我们来看看这项研究有什么意义？？？

两位作者表示虽然目前表情包只是利用文化（尤其是亚文化）主题来散播幽默的媒介，但是，表情包同样可以被用来宣传政治理想, 传播共鸣，为少数派发声。表情包是这一代人自己的交流方式，也真实的塑造了这一代人。AI 如今发展迅猛，急需新的挑战。表情包的高度相关性还需要强理解能力，故他们选择该项目（一本正经）。

除了给张图片就可以自动给图片配相应的文字之外，这个系统还可以被应用于自定义标签，让表情包的整理更加方便。研究人员先使用预训练的Inception-v3 网络生成一个图片嵌入，然后将它传递到基于 attention 的深层 LSTM 模型中来生成最终注释，该做法灵感来自于大名鼎鼎的 SHow&Tell 模型，他们还稍微修改了一下集束搜索算法来保证配字的多样性。

而最后的定量评估是由人类测试员完成。人类测试员需要去辨别表情包是不是生成的，或者评估一下表情包的欢乐程度，毕竟表情包的灵魂就是有趣。

这个表情包生成器的基本的框架是一个编码器-解码器图说生成系统，先进行CNN图像嵌入，然后用一个LSTM RNN进行文字生成。

其中，编码器的目标是要给出一个有意义的状态，让解码器开始进行文字生成。他们使用在ImageNet上预训练的Inception-v3做为编码器模型，并将最后一层隐藏CNN作为编码器的输出。当表情包模板进入Inception模型后，输出是一组长度固定的向量，也即图像嵌入，能够反映图像的内容。这个图像嵌入之后会被投射到词嵌入空间里，方便后续文字生成。

他们一共尝试了3种不同的编码器模型，最简单的一种只输入图像；另一种输入图像和标签；最后一种的输入也是图像和标签，但使用了注意力机制。至于解码器，都是一个单向LSTM。这样搭配组合成了3种编码器-解码器方案。下图展示了第二种方案的模型。

数据集是这个表情包生成器的精髓。他们的数据集由大约40万张带标签和图说的图片组成。其中有2600个独特的图像-标签对，是他们写Python脚本从Memegenerator.net中获取的。一张图片对应一个标签，标签是对这幅图的简单描述，而每张图都与很多不同的图说（大约160个）相关联。在正式训练前，作者还对数据进行了预处理，注释中的每个字都被缩小以匹配 GloVe 格式，标点符号也被处理了一通。

从语法、搞笑程度和可区分性（分辨是人制作的还是深度学习生成的）几个维度判断，深度学习表情包生成器取得了不错的效果。尤其是搞笑程度，因为这一点是制作表情包的初衷，普通表情包的搞笑程度7分（满分10分），深度学习生成的表情包最高达到了6.8。

两位作者指出，幽默是很难评判的事情，本身就是一个很深的研究领域。他们的这项工作十分基础，接下来如果能构建出能够自动断句的表情包生成器（就是自动判断图片上方和下方两行文字从哪里断开），将会是一个很大的进步。（因为使用的都是网络热图，因此数据含有性别歧视和不文明的成分。）此外，探索视觉注意力机制在表情包生成中的作用，也是一个不错的研究方向。

最后，让我们来欣赏一下生成的表情吧：

2. 熊猫头才是王道！

论文地址：https://arxiv.org/pdf/1908.05138.pdfdemo地址：https://drive.google.com/file/d/1ewCLGds681LNtRDdwxPkfApWaAmjF03x/view

我大天朝在斗图这个领域，怎么能认输？今年8月，来自中国科学院大学、腾讯实验室、和北大的陈逸夫、王宗胜、吴博文等同学，也不负众望的作出了一个表情包生成器模型：输入文字，就能生成对应的表情包。目前只有文章的预印版本和作为web端的demo，源代码还没有放出来。

作者基于当前文本到图像的模型研究，提出了一个带有注意力机模型的GAN架构，从给定文本语义的模式中生成一个表情包的熊猫脸

。

数据集则同样是从网上收集的，共有56710种不同类型的表情包，它们通过OCR将文字标题自动提取出来。之后，对这些文字和人脸表情包进行了分类。

最终的生成器以网页的形式进行展示：

从作者生成的图片看来，效果是相当的不错！熊猫头应用的出神入化。

结语

专注表情包生成的论文还是比较稀有的。要是有小伙伴能发篇基于深度学习生成gif的文章就好了! 冲着数据集，小编也一定会去瞅瞅的！

后续更多学习资料免费分享！敬请期待~会议之眼现已推出小程序

会议之眼plus

查计算机会议信息的一站式工具。会议截稿日期、召开信息、会议等级、您想要的信息这里都有！还等什么，快来体验吧~

会深度学习就能为所欲为吗，先来一打表情包，再加个图说相关推荐

深度学习（18）神经网络与全连接层一: 数据加载
深度学习(18)神经网络与全连接层一: 数据加载 1. 常用数据集 2. MNIST数据集 (1) MNIST样本 (2) MNIST加载案例 3. CIFAR10/100 (1) CIFAR10/1 ...
深度学习实战（六）：从零开始实现表情识别
深度学习实战(六):从零开始实现表情识别 1. 项目简介 2. 数据获取 2.1 数据爬取 2.2 数据整理 2.3 数据清洗 2.4 提取嘴唇区域 3. 模型训练 3.1 数据接口准备 3.1.1 ...
谁是深度学习框架一哥？2022 年，PyTorch 和 TensorFlow 再争霸
来源:机器学习研究组订阅用PyTorch还是TensorFlow,对于大部分深度学习从业者来说真是一个头疼的问题.最近Reddit上有个帖子从三个方面对比了两个框架,结果竟然是平手? 你用PyTor ...
神经网络与深度学习——TensorFlow2.0实战(笔记)(四)(python模块、包和库)
模块(Module) 模块是一个python文件(.py),拥有多个功能相近的函数或类. 便于代码复用,提高编程效率,提高了代码的可维护性. 避免函数名和变量名冲突. 包(Package) 为了避免模 ...
[深度学习 - 发现有趣项目] masking-gan 人脸生成笑脸表情
参考代码来源于:https://github.com/tgeorgy/mgan 人脸生成笑脸表情 1.有趣的项目之前没事会经出翻github看项目,也会发现很多有趣的项目.迫于没什么时间,就过一眼就 ...
深度学习项目-风格转换
深度学习项目-风格转换神经风格转换 1.导入包 2.加载VGG模型 3.搭建神经风格算法 4. 风格权值 5.解决优化问题神经风格转换神经风格转换(Neural Style Transfer,N ...
使用深度学习检测DGA（域名生成算法）——LSTM的输入数据本质上还是词袋模型...
from:http://www.freebuf.com/articles/network/139697.html DGA(域名生成算法)是一种利用随机字符来生成C&C域名,从而逃避域名黑名单检 ...
百度为AI开发者打造别样的深度学习快速通关路径
4月21日,北京迎来了今年的第一场大雨,但是依然浇灭不了开发者的热情,超过200名资深开发者还是如约而至,来到了百度"深度学习公开课"北京站. 近日,百度AI开发者实战营第二季从北 ...
百度燎原计划2018强势回归开放深度学习工程师评价标准
人工智能时代风口在燃烧,百度希望让每个人都能用上AI.4月20日,百度"燎原计划2018"暨百度AI开发者实战营第二季强势回归,首站北京即放送三大满足各类开发者需求的"超 ...

会深度学习就能为所欲为吗，先来一打表情包，再加个图说

会深度学习就能为所欲为吗，先来一打表情包，再加个图说相关推荐

最新文章

热门文章