transformer xl 用于文本生成
本文尝试用transformer xl做中文文本续写,基于论文为:《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》https://arxiv.org/abs/1901.02860
论文算法介绍可参考:https://blog.csdn.net/jILRvRTrc/article/details/87706658
我主要是基于论文源代码进行改进,将其用于中文文本生成任务,包括小说生成、诗词生成等,gitHub地址为https://github.com/GaoPeng97/transformer-xl-chinese
生成效果为:
斗破苍穹续写:
萧炎对这威胁之话还是感到陌生,若非他灵魂力量同样不弱的话,恐怕早就忍不住的出手了。“呵呵,小家伙,既然你已经晋入了斗宗层次,那我也不再有半点留手,你体内的那种能量,应该也是处于天境后期吧?”萧炎一笑,在提醒了一声后,便是再度闭目养神。听得萧炎这话,一旁的薰儿眼眸也是微微眯了起来,她知道萧炎体内,有着一个古怪的内院存在,如今好不容易得到异火,却是根本就没有半点的可信性。“那便继续等,他们继续出手!”萧炎咬着牙,手印变动,体内斗气顿时在身体表面翻腾而起,旋即一个奇异的符文缓缓出现在其手掌上,漆黑的眸子中,闪烁着森寒之色。“萧炎哥哥,恭喜你了,萧族的事,交给我便好。”听得萧炎那般淡淡的话语,薰儿脸颊也是微变,缓缓的道。“我倒是希望你能走到今天的”萧炎笑了笑,他知道薰儿嘴中所说的那一句话,或许便是最好的事。“我知道你对自己迁移到你的身体有些不太满意吧?”薰儿眼波流转,却是并未否认。萧炎眉头微皱,刚欲说话,一旁的萧玄却是突然低声道:“我想,你应该是认为我们萧族会对我所说的话有着不小的一些芥蒂。”
古诗生成:
一身走四海,万事付悠悠。贫病不相弃,饥寒难自谋。风霜欺病骨,烟雨暗归愁。近日思归梦,空台南望留。天涯望不极,此夜又秋残。此处谁同赏,从来恨独难。月明风正凛,霜冷夜应寒。独倚栏干思,清光几处看。山色初晴水色鲜,幽禽啼唤雨余天。客心自觉空如梦,世事休论更可怜。老眼开时花自笑,残年厄闰草堪怜。一筇破衲同春睡,谁与浇愁入酒泉。清溪一曲绕茅堂,溪上秋风透短墙。草木扶疏迷远径,山川清澹接高阳。诗情到处成三叹,酒兴知时变一觞。我亦放怀非独乐,拟将闲事寄僧房。
日常话题生成:
我们快毕业了,那么接下来的事我们就来看看那些做这些工作的,有什么需求我们来写这些工作的需求我们,我们也可以在这里学到更多的知识,因为我们只是一个需要工作的人而已。这里也同样需要一个专业的工作室,而我们也需要更多的需要与之的工作环境,以及每个需求的工作。根据我们的喜好来看,企业的员工薪酬是高于其他需求的,所以企业的需求是高于本岗位的。我们的需求是高于本岗位的,所以我们需要对自己的工作有一个全新的认识。这里如果你。。。
transformer xl 用于文本生成相关推荐
- transformer xl在文本生成上面的应用
Transformer_xl相关介绍:https://zhuanlan.zhihu.com/p/84159401 从文本生成看Seq2Seq模型:https://zhuanlan.zhihu.com/ ...
- 今日头条李磊等最新论文:用于文本生成的核化贝叶斯Softmax
译者 | Raku 出品 | AI科技大本营(ID:rgznai100) 摘要 用于文本生成的神经模型需要在解码阶段具有适当词嵌入的softmax层,大多数现有方法采用每个单词单点嵌入的方式,但是一个 ...
- keras bi-lstm_LSTM用于文本生成的应用介绍-使用Keras和启用GPU的Kaggle Kernels
keras bi-lstm by Megan Risdal 梅根·里斯达尔(Megan Risdal) LSTM用于文本生成的应用介绍-使用Keras和启用GPU的Kaggle Kernels (An ...
- 利用循环神经网络生成唐诗_PyTorch实现用于文本生成的循环神经网络
自然语言处理(NLP)有很多有趣的应用,文本生成就是其中一个有趣的应用. 当一个机器学习模型工作在诸如循环神经网络.LSTM-RNN.GRU等序列模型上时,它们可以生成输入文本的下一个序列. PyTo ...
- PyTorch实现用于文本生成的循环神经网络
作者|DR. VAIBHAV KUMAR 编译|VK 来源|Analytics In Diamag 自然语言处理(NLP)有很多有趣的应用,文本生成就是其中一个有趣的应用. 当一个机器学习模型工作在诸 ...
- 文本生成与自动摘要:基于生成式预训练Transformer的实现与优化
作者:禅与计算机程序设计艺术 1.简介 文本生成是自然语言处理领域中非常重要的问题之一.在不断地探索学习新知识和技能的同时,越来越多的人也需要通过自己创造或整合的手段,将自己的想法.观点和信息转化成语 ...
- 人大团队研究:面向文本生成,预训练模型进展梳理
作者 | 刘媛媛 来源 | 数据实战派 文本生成是 NLP 中最重要且颇具挑战性的任务之一.近年来,预训练语言模型 (Pretrained Language Models ,下文简称 "PL ...
- 【NLP】人大团队研究:面向文本生成,预训练模型进展梳理
文本生成是 NLP 中最重要且颇具挑战性的任务之一.近年来,预训练语言模型 (Pretrained Language Models ,下文简称 "PLM") 的范式,极大地推动了该 ...
- 预训练生成模型:结合VAE与BERT/GPT-2提高文本生成效果
论文标题: Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space 论文作者: Chunyuan Li, Xi ...
最新文章
- 织梦文章内容屏蔽替换词语多个敏感字词
- vim常用命令使用总结
- java 内存泄漏场景_Java内存泄露的例子
- build FLTK 1.1.7 with gcc 2.95.3 on Fedora7
- python paperclip_Python pyplot.sca方法代码示例
- 一个rshinyapp的学习视频就是2个小时,看来李刚民老师说的是对的,最重要的是快速学习一个语言并且实践的能力
- Yii框架里用grid.CGridView调用pager扩展不显示最后一页按钮的解决
- 在Eclipse中有效使用JUnit
- oracle dg物理和逻辑,Oracle DG介绍(物理无实例)
- python写一个crm系统_用Python打造一个CRM系统(四)
- Git基础操作及常见命令——详解
- 算法不会,尚能饭否之树(1)
- java循环语句_Java十四天零基础入门-Java for循环语句
- 【BZOJ3162】独钓寒江雪 树同构+DP
- 工业级POE交换机、企业级交换机、普通交换机之间各区别?
- Ubuntu 20.04安装velodyne_simulator
- [总结]Android系统体系结构
- Open Feign调用出现CRTL CODE 31两种解决方案
- 在 iOS13 及以前,App 请求用户定位授权时为如下形态
- 决策树 建模_主题建模到类别树中
热门文章
- html教程自适应,html自适应界面
- DL之IDE:深度学习环境安装之Visual Studio 2015版本+CUDA8.0+Cudnn8.0+OpenCV 3.1.0版本完美搭配安装图文教程之详细攻略
- 【CKA考试笔记】二十、升级k8s
- linux用rpm安装nginx,Linux内网安装nginx(rpm包安装方式)
- web项目入门相关内容
- js基础面试题之手写各种简单方法
- python中将bytes转换为int一种方法
- 计算机一级考试个人小结作文,考试总结作文
- 新装oracle密码过期,Oracle 11g密码过期问题及解决方案
- windows 下怎么停止 nginx 服务