李宏毅nlp学习笔记06：Text Style Transfer

1.Text Style Transfer

可以把消极的消息变成积极的消息：
进行的应该是无监督的学习。

以把消极的句子转为积极的句子为例。
G：模型是消极的模型转化为积极的模型
D：则应该能够判断转为的句子是不是积极的句子。
R：模型是要句子不要发生大的变化，架构应该是不变的。即积极的句子又能转化回消极的句子。

模型一般会把G和D接起来以当做一个较大的模型。

2.G：seq2seq：红色框住的部分是随机的，

解决方法：

Gumbel-softmax：

第二种方法是直接避开那个随机生成的sample，从下图可以看出，直接跳过了。
很简单，很暴力。

存在的问题：
真正的句子的向量是one-hot，而生成句子的向量不是，因此模型必须削弱。

真正的句子也可以不用one-hot。。。

第三种方法：硬train：

3.评测遇到的问题

评测遇到的问题是：在进行评分的时候，评分是根据你最后得到的整个句子来进行评分的。
而不知道是具体哪个单词的问题

三种方式：

4.Text Style Transfer 一些结果：

5. 6.可以一方面抽出来内容，另一方面抽出来风格。

一种方法是让content encoder把带有情感分类的词给抹掉，如下：

7.Unsupervised Abstractive Summarization

Unsupervised：给的文件和摘要不一定需要一一对应。
只是告诉机器人类写的文章的风格长什么样子，人类写的摘要的风格是什么样子的。

一般用rouge的方法来评估摘要，仅仅是通过相似的字的个数，没有通过更深层的含义。

8.Mapping of word Embedding

我们来讨论翻译，先看词汇对词汇的翻译：

以中英文为例子，中文中的每个词都有自己的向量，英文中的每个词也都有自己的向量，如果找到一种转化关系使得两中向量可以相互变化，那么我们就能很容易进行翻译。

9.翻译：

因为无监督，即给的语料不是中英的平行语料
一般会先训练两个各自的encode和decode，为了防止直接把输入拿过来输出，需要加入一些噪音。

合并：

直接把EN A的结果给DE B，会不会直接翻译呢？
不理想。
DE A 只能读懂EN A给出的。
DE B 只能读懂EN B给出的。
把EN A的结果给DE B，DE B会觉得给的是一个乱序。

在上述基础上加一个D，使得EN A的输出和EN B的输出相近，这样就可能使得DE B能读懂EN A出来的结果了。
但是这样做输入的句子应该是平行语料。

还有这样，从A输入到A输出经过了一个很长的过程。

上述也应该是在平行预料上进行的
在上述基础上，为了平行语料，我们将EN A和DE B换掉，使得左边的Sentence A产生的右边的Sentence B有一定的语义关系，虽然可能不是很好。
比如就可以用词向量直接转化的翻译结果。

10.讨论语音和文字的转化：

过。