文章目录

之前解决文本多样性的方法
- 1. 修改loss
- - 1.1 MMI-antiLM
  - 1.2 MMI-bidi
- 2. 使用VAE模型
- - AE vs. VAE
  - 无监督句子编码
  - VAE
相关基础工作
- 2.1 编解码模型
- 2.2 VAE和CVAE
- 2.3 SelfLabeling CVAE
3 数据集
4 实验
- 4.1 开放领域的对话生成
- 4.2 推荐理由生成

阿里妈妈AI智能文案

之前解决文本多样性的方法

1. 修改loss

主要代表是李继伟2016a的相关研究，提出了新的目标函数MMI对 Seq2Seq进行建模。

原始的目标函数采用log-likelihood建模，

这个loss的问题是，如果一个回复在在训练集中出现得越多（越平常），在测试生成的时候生成这些回复的概率就会越高。所以基于**熵**对loss进行改进，使用互信息来衡量生成句子的优劣。

互信息对比与likelihood的区别在于，多了一项 logp(T)log p(T)logp(T) 的惩罚项, 这样对于在训练集中经常出现的回复T，其语言模型 p(T)越大，最终得分越小。
最终目标函数可以写作：
T^=arg⁡max⁡T{log⁡p(T∣S)−log⁡p(T)}\hat{T}=\underset{T}{\arg \max }\{\log p(T | S)-\log p(T)\} T^=Targmax{logp(T∣S)−logp(T)}

1.1 MMI-antiLM

将上述惩罚项乘以一个控制因子 λ\lambdaλ ，得到 anti-language model(antiLM)，

T^=arg⁡max⁡T{log⁡p(T∣S)−λlog⁡p(T)}\hat{T}=\underset{T}{\arg \max }\{\log p(T | S)-\lambda \log p(T)\} T^=Targmax{logp(T∣S)−λlogp(T)}

虽然他会降低常用回复的出现，但是这些常用回复是通顺的，所以这样降低之后，会导致一些不符合句法的句子被生成。因此，使用截断式语言模型U(T)U(T)U(T)来代替完整的语言模型p(T)p(T)p(T)，

$U(T) = \prod_{i=1}^{N_t}p(t_k|t_1,t_2,...,t_{k-1}) \cdot g(k)$

$p(T) = \prod_{i=1}^{N_t}p(t_k|t_1,t_2,...,t_{k-1})$

其中，
g(k)={1if k≤r0if k>rg(k)=\left\{\begin{array}{ll}{1} & {\text { if } k \leq r} \\ {0} & {\text { if } k>r}\end{array}\right. g(k)={10 if k≤r if k>r

可以看出，前者比后者多出来一个 g(k)g(k)g(k)，这个参数就是减低重复回复的。回顾解码过程，生成一个词时，需要当前词和上一个生成的词，所以位于句子前面的词会涉及到后面所有词的解码，这样就会影响句子的多样性。所以当前词离得太远的词，就丢弃掉。此外，通过实验发现，解码过程越长，语言模型的影响力越大，句子出现不通顺的概率越大，所以通过限制距离，可以减少这种情况的发生。

1.2 MMI-bidi

考虑到贝叶斯公式，可以将MMI目标函数改成
log⁡p(T)=log⁡p(T∣S)+log⁡p(S)−log⁡p(S∣T)\log p(T)=\log p(T | S)+\log p(S)-\log p(S | T) logp(T)=logp(T∣S)+logp(S)−logp(S∣T)

这样
T^=arg⁡max⁡T{log⁡p(T∣S)−λlog⁡p(T)}\hat{T}=\underset{T}{\arg \max }\{\log p(T | S)-\lambda \log p(T)\} T^=Targmax{logp(T∣S)−λlogp(T)}
就可以改写成
T^=arg⁡max⁡T{(1−λ)log⁡p(T∣S)+λlog⁡p(S∣T)−λlog⁡p(S)}=arg⁡max⁡T{(1−λ)log⁡p(T∣S)+λlog⁡p(S∣T)}\begin{aligned} \hat{T}=\underset{T}{\arg \max }\{(1-\lambda) \log p(T | S)& \\+\lambda \log p(S | T)-\lambda \log p(S) \} \\=\underset{T}{\arg \max }\{(1-\lambda) \log p(T | S)+\lambda \log p(S | T)\} \end{aligned} T^=Targmax{(1−λ)logp(T∣S)+λlogp(S∣T)−λlogp(S)}=Targmax{(1−λ)logp(T∣S)+λlogp(S∣T)}

引入权重之后，目标函数既可以看做是p(S∣T)p(S|T)p(S∣T)和p(T∣S)p(T|S)p(T∣S)之间的tradeoff了.

改写之后的函数就是MMI-Direct decodeing(MMI-bidi)

实际实验中，使用目标函数的第一项(1−λ)log⁡p(T∣S)(1-\lambda) \log p(T | S)(1−λ)logp(T∣S)来生成N个回答，然后使用第二项即λlog⁡p(S∣T)\lambda \log p(S | T)λlogp(S∣T)对N个回答重新排序。

这种方法的优点是得到的答案都是语法通顺的，因为是标准的seq2seq模型的答案，但是在排名上只是局部最优的。

不足
这些方法没有优化 encoder-decoder，不适合解决多目标数据，因为受限于准确性和多样性的tradeoff

2. 使用VAE模型

VAE方法引入了一个中间隐变量，并假设每一个隐变量的配置都对应于一个可行的响应。所以可以通过从变量中采样来得到不同的隐变量响应。但是VAE和CVAE都会遇到 KL-消逝的问题，即decoder在生成文本时，根本没有用到隐变量。

AE vs. VAE

对于AE，AE中学习的是 encoderencoderencoder 和 decoderdecoderdecoder ，只能从一个 XXX，得到对应的重构 XXX 。但是无法生成新的样本。而 VAE可以让重构后的XXX尽量符合某个指定的分布，只需要从这个分布中采样出来就可以恢复输入（比如一张图片）

无监督句子编码

标准的rnn的解码过程是利用当前词和上一个解码结果来生成下一个词的。这种方法虽然有效但是没有学到一个完整句子的词向量表示，都是一个词一个词学的。为了能学到这个全句子的隐向量，首先要找到句子和词向量的映射关系。有三种方法，句子AE,其中编码器和解码器都是rnn，但是这个模型在提取全局语义方面表现不好。剩下两种方法skip-thought和paragraph vector可以很好的对句子进行编码，但是不能用于generating settings，因为前者是一种无监督学习模型，输出是下一个句子而不是本身；后者是没有rnn的，

标准的AE的包栝编码 φenc\varphi_{enc}φenc、解码p(x∣z⃗=φenc)p(x|\vec{z}=\varphi_{enc})p(x∣z=φenc)，给定 z⃗\vec{z}z最大化得到xxx的概率、得到xxx的编码。

VAE

是对标准 AE做了标准化处理，在ae的架构上引入了随机隐变量。
VAE 从 data 学到的是在 latent space 的 region，而不是单个点。换句话说是 encode 学到了一个概率分布 q(z⃗∣x)q(\vec{z}|x)q(z∣x), 其中z⃗\vec{z}z是一个对角gaosigao’si’fen’bu补。
引入 KL divergence 让后验 q(z|x)接近先验 p(z)。这里的 motivation 在于如果仅用 reconstruction loss，q(z|x)的 variances 还是会很小（又和原有的单个点差不多了）

不管是VAE还是CVAE都会遇到KL消逝的问题。这是由于这类方法目标函数本身造成的。很有方法试图基于此改进，但无非是减弱解码器，或者增强编码器，由此对目标函数进行修改。

3 数据集

电商语料库，商家和用户评论及推荐。商家描述文本是属性词的堆砌，作为source，来生成像人写的推荐理由。有三百多万的source，平均每一条source有3.8个target。

4 实验

4.1 开放领域的对话生成

使用的是开源数据集 DailyDialog

4.2 推荐理由生成

使用的是自己构建的EGOODS数据集，模型是PyTorch，编码向量长度是128.

阅读笔记-阿里妈妈AI智能文案相关推荐

公式推导出创意，阿里妈妈“AI智能文案”通过图灵测试！
"经典小黑裙,穿出赫本式性感" "电动脱毛仪,上演极度的诱惑" "一伞在手,遮阳挡雨全都有" ······ 这些都是人工智能写出来的文案,对 ...
阿里妈妈Dolphin智能计算引擎基于Flink+Hologres实践
作者:徐闻春(花名陌奈) 阿里妈妈事业部技术专家本文整理至Flink+Hologres实时数仓Workshop北京站,点击查看视频回放>>> 阿里妈妈数据引擎团队负责广告营销计算 ...
KDD2021 放榜，6 篇论文带你了解阿里妈妈AI技术
关于 KDD ACM SIGKDD(国际数据挖掘与知识发现大会,简称 KDD)是国际数据挖掘领域的顶级会议,由 ACM 的数据挖掘及知识发现专委会(SIGKDD)主办,被中国计算机协会推荐为A类会议. ...
阿里妈妈内容风控模型预估引擎的探索和建设
作者:徐雄飞.金禄旸.滑庆波.李治内容作为营销的重要载体,能够促进信息的交流和传播.在营销场景中,广告高曝光的特性放大了风险外漏带来的一系列问题,因此对内容的风控审核就显得至关重要.本文将为大家分享 ...
请查收 | 2021 阿里妈妈技术文章回顾
2021年5月13日,「阿里妈妈技术」正式与大家见面了~ 在过去的237天里,我们分享了50篇原创内容,覆盖了广告算法实践.算法工程&引擎&系统建设.智能创意.风控.数据科学等多个技术 ...
阿里妈妈技术团队 5 篇论文入选 TheWebConf 2022
近日,第31届国际万维网大会(The Web Conference / WWW)审稿结果出炉, 阿里妈妈技术团队有5篇论文入选. TheWebConf 成立于1989年,原名为"The In ...
电商智能写作：阿里妈妈创意中心智能文案引擎
本篇为电商智能写作第一篇,笔者跟踪电商智能写作领域有些日子了,目前已知有成型电商智能写作产品的有: 阿里的阿里妈妈(还有其他的几篇该领域的论文,不知道有木有做成产品使用起来),京东AI闪电,宝尊电商等 ...
AI智能写作用boardmix，文案、论文、爆款、小说一键生成！
随着Chat GPT的出圈,人工智能逐渐渗透各行各业,尤其是文案和论文的产出,AI能够帮助我们更加高效的创作,为内容提供一些灵感和思路.那么,有没有类似Chat GPT的AI写作工具,有观念.有角度. ...
AI：周志华老师文章《关于强人工智能》的阅读笔记以及感悟
AI:周志华老师文章<关于强人工智能>的阅读笔记以及感悟导读关于人工智能,长期存在两种不同的目标或者理念.一种是希望借鉴人类的智能行为,研制出更好的工具以减轻人类智力劳动 ...

阅读笔记-阿里妈妈AI智能文案

文章目录

之前解决文本多样性的方法

1. 修改loss

1.1 MMI-antiLM

1.2 MMI-bidi

2. 使用VAE模型

AE vs. VAE

无监督句子编码

VAE

相关基础工作

2.1 编解码模型

2.2 VAE和CVAE

2.3 SelfLabeling CVAE

3 数据集

4 实验

4.1 开放领域的对话生成

4.2 推荐理由生成

阅读笔记-阿里妈妈AI智能文案相关推荐

最新文章

热门文章