GPT2模型训练,50w个多轮中文对话语料
向AI转型的程序员都关注了这个号????????????
机器学习AI算法工程 公众号:datayx
GPT2 for Chinese chitchat
项目描述
本项目使用GPT2模型对中文闲聊语料进行训练,使用 HuggingFace的transformers实现GPT2模型的编写与训练。
在闲暇时间用 GPT2-Chinese模型训练了几个长文本的生成模型,并且精读了一遍作者的源码,获益匪浅,加深了自己对GPT2生成模型的一些理解,于是将GPT2模型用于闲聊对话的生成,非常感谢作者的分享。
本项目中沿用了原项目中的部分结构和一些命名方式,同时也对很多代码细节做出了自己实现。
解码器的逻辑使用了Temperature、Top-k Sampling和Nucleus Sampling等,可参考论文The Curious Case of Neural Text Degeneration
代码中给出了许多详细的中文注释,方便大家更好地理解代码
本文相关代码 、语料获取方式:
关注微信公众号 datayx 然后回复 闲聊 即可获取。
AI项目体验地址 https://loveai.tech
运行环境
python3.6、
transformers==2.1.1、
pytorch==1.3.1
项目结构
config:存放GPT2模型的参数的配置文件
data
train.txt:默认的原始训练集文件,存放闲聊语料
train_tokenized.txt:对原始训练语料进行tokenize之后的文件
model:存放模型
sample:存放人机闲聊生成的历史聊天记录
vocabulary:存放GPT2模型的字典
train.py:训练代码
interact.py:人机交互代码
interact.py的参数
执行interact.py时,可以尝试通过调整topk、topp、repetition_penalty、max_history_len等参数,调整生成的效果。详细的参数描述可以查看interact.py的set_interact_args()函数
生成样例
闲聊语料分享
常见中文闲聊
包含小黄鸡语料、豆瓣语料、电视剧对白语料、贴吧论坛回帖语料、微博语料、PTT八卦语料、青云语料等。
50w中文闲聊语料
由作者GaoQ1提供的比较高质量的闲聊数据集,整理出了50w个多轮对话的语料
阅读过本文的人还看了以下文章:
【全套视频课】最全的目标检测算法系列讲解,通俗易懂!
《美团机器学习实践》_美团算法团队.pdf
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
python就业班学习视频,从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
《Python数据分析与挖掘实战》PDF+完整源码
汽车行业完整知识图谱项目实战视频(全23课)
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!
《神经网络与深度学习》最新2018版中英PDF+源码
将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享
重要开源!CNN-RNN-CTC 实现手写汉字识别
yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师,你的面试为什么过不了?
前海征信大数据算法:风险概率预测
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
VGG16迁移学习,实现医学图像识别分类工程项目
特征工程(一)
特征工程(二) :文本数据的展开、过滤和分块
特征工程(三):特征缩放,从词袋到 TF-IDF
特征工程(四): 类别特征
特征工程(五): PCA 降维
特征工程(六): 非线性特征提取和模型堆叠
特征工程(七):图像特征提取和深度学习
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师(共四面)通过
全球AI挑战-场景分类的比赛源码(多模型融合)
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx
长按图片,识别二维码,点关注
机器学习算法资源社群
不断上传电子版PDF资料
技术问题求解
QQ群号: 333972581
长按图片,识别二维码
海淘美妆
GPT2模型训练,50w个多轮中文对话语料相关推荐
- 如何借助分布式存储 JuiceFS 加速 AI 模型训练
传统的机器学习模型,数据集比较小,模型的算法也比较简单,使用单机存储,或者本地硬盘就足够了,像 JuiceFS 这样的分布式存储并不是必需品. 随着近几年深度学习的蓬勃发展,越来越多的团队开始遇到了单 ...
- T5模型和GPT2模型初步对比
T5模型和GPT2模型初步对比 之前试着用GPT2模型训练了一个诗词对联生成程序(训练诗词生成模型). 这个周末初步试了一下用T5模型做同样的事,是想对比一下看看两个模型的区别. 这两种模型都是基于经 ...
- word2vec模型训练保存加载及简单使用
目录 word2vec模型训练保存加载及简单使用 一 word2vec简介 二.模型训练和保存及加载 模型训练 模型保存和加载 模型的增量训练 三.模型常用API 四.文本相似度计算--文档级别 wo ...
- GPT-2生成式多轮对话入门-----深入理解“用于中文闲聊的GPT2模型”项目
UPDATE 2.28.2020 纠正之前文末的思维误区. 2.26.2020 增加了Jay Alammar The Illustrated GPT-2 博客的翻译 增加了关于Transformer你 ...
- R语言构建xgboost模型并评估模型(测试集、训练集每一轮):误分类率指标(misclassification rate)、logloss
R语言构建xgboost模型并评估模型(测试集.训练集每一轮):误分类率指标(misclassification rate).logloss 目录
- DL之Attention-ED:基于TF NMT利用带有Attention的 ED模型训练、测试(中英文平行语料库)实现将英文翻译为中文的LSTM翻译模型过程全记录
DL之Attention-ED:基于TF NMT利用带有Attention的 ED模型训练(中英文平行语料库)实现将英文翻译为中文的LSTM翻译模型过程全记录 目录 测试输出结果 模型监控 训练过程全 ...
- NLP之PLUG:阿里达摩院发布最大中文预训练语言模型PLUG的简介、架构组成、模型训练、使用方法之详细攻略
NLP之PLUG:阿里达摩院发布最大中文预训练语言模型PLUG的简介.架构组成.模型训练.使用方法之详细攻略 目录 PLUG的简介 PLUG的得分 PLUG的特点 PLUG的架构组成 PLUG的模型训 ...
- bert中文分类模型训练+推理+部署
文章预览: 0. bert简介 1. bert结构 1. bert中文分类模型训练 1 下载bert项目代码 代码结构 2 下载中文预训练模型 3 制作中文训练数据集 2. bert模型推理 1.te ...
- 中文LLaMA模型和指令精调的Alpaca大模型:中文数据进行二次预训练,进一步提升了中文基础语义理解能力
项目设计集合(人工智能方向):助力新人快速实战掌握技能.自主完成项目设计升级,提升自身的硬实力(不仅限NLP.知识图谱.计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户 ...
最新文章
- Intel Realsense D435 python wrapper pyrealsense 类模块汇总
- 201771010118马昕璐《面向对象程序设计java》第八周学习总结
- 线性代数 向量长度_用户定义长度的向量| 使用Python的线性代数
- Java学习笔记2.4.3 选择结构 - 多分支结构
- 企业微信开放客户朋友圈功能 无需审核即可使用
- MySQL的show profile(已过时)简介以及该功能在MySQL 5.7中performance_schema中的替代
- 【转】NB的specify
- CTR介绍,数据集往往为表格形式,训练集使用历史的日志数据,然后进行特征归一化、离散化和特征哈希等操作,最终一条训练集为一行多列的二分类任务。
- 动态创建和移除HTML标签
- Selenium实现QQ空间说说自动点赞
- 纯HTML CSS制作导航栏 下拉菜单
- 完美mix-in(混入)模式———js对象想怎么玩就怎么玩
- 进度和质量哪个重要?这个梗工作中反反复复!
- 再见笨重的ELK!这套轻量级日志收集方案要火!
- 达梦数据库表导出的两种方法
- 代码随想录训练营day7
- CSS 设置垂直居中
- 我用 Python 代码爬取“学习”了全网各种风格妹子1T的小图片
- 图像滤镜艺术---最新美颜算法研究
- 牛客网真题刷题经验一:浩鲸科技2020届java笔试
热门文章
- 一次磁盘满的系统故障
- 荣之联生物领域再扩张 同清华大学共建生物云实验室
- 数据库外键名称不要用自动生成的名字
- string.Format 格式化输出
- c语言低级语言分为,认识C语言
-低级语言是什么?
- signature=ad248ee50cb35fb429594f302bf99ddf,动态源路由协议在无线自组网中的研究与应用...
- mysql c++ 存数组,c++读取数据文件到数组的实例
- centos java tar_CentOS安装JDK-tar.gz文件
- cad怎么卸载干净_CAD无法卸载,又无法安装怎么办?
- c语言求20项FBNC,大学C语言 结业作业 暗影行者