深度学习自然语言处理模型实现大集合(精简版<100行)
本资源整理了现有常见NLP深度学习模型,借鉴相关TensorFlow和Pytorch代码实现相关的模型代码,对绝大多数NLP模型进行精简,多数模型都是用不到100行代码实现的,(注释或空行除外)。
资源整理自网络,带链接源地址:https://github.com/graykode/nlp-tutorial
从NLP中的第一个语言模型NNLM开始,逐步包括RNN,LSTM,TextCNN,Word2Vec等经典模型。帮助读者更轻松地学习NLP模型,实现和训练各种seq2seq,attention注意力模型,bi-LSTM attenton,Transformer(self-attention)到BERT模型等等。
1. Embedding 语言Model
•1-1. NNLM(Neural Network Language Model) - Predict Next Word
oPaper - A Neural Probabilistic Language Model(2003)
oColab - NNLM_Tensor.ipynb, NNLM_Torch.ipynb
•1-2. Word2Vec(Skip-gram) - Embedding Words and Show Graph
oPaper - Distributed Representations of Words and Phrases and their Compositionality(2013)
oColab - Word2Vec_Tensor(NCE_loss).ipynb, Word2Vec_Tensor(Softmax).ipynb, Word2Vec_Torch(Softmax).ipynb
•1-3. FastText(Application Level) - Sentence Classification
oPaper - Bag of Tricks for Efficient Text Classification(2016)
oColab - FastText.ipynb
2. CNN(Convolutional Neural Network)
•2-1. TextCNN - Binary Sentiment Classification
oPaper - Convolutional Neural Networks for Sentence Classification(2014)
oColab - TextCNN_Tensor.ipynb, TextCNN_Torch.ipynb
•2-2. DCNN(Dynamic Convolutional Neural Network)
3. RNN(Recurrent Neural Network)
•3-1. TextRNN - Predict Next Step
oPaper - Finding Structure in Time(1990)
oColab - TextRNN_Tensor.ipynb, TextRNN_Torch.ipynb
•3-2. TextLSTM - Autocomplete
oPaper - LONG SHORT-TERM MEMORY(1997)
oColab - TextLSTM_Tensor.ipynb, TextLSTM_Torch.ipynb
•3-3. Bi-LSTM - Predict Next Word in Long Sentence
oColab - Bi_LSTM_Tensor.ipynb, Bi_LSTM_Torch.ipynb
4. Attention Mechanism
•4-1. Seq2Seq - Change Word
oPaper - Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation(2014)
oColab - Seq2Seq_Tensor.ipynb, Seq2Seq_Torch.ipynb
•4-2. Seq2Seq with Attention - Translate
oPaper - Neural Machine Translation by Jointly Learning to Align and Translate(2014)
oColab - Seq2Seq(Attention)_Tensor.ipynb, Seq2Seq(Attention)_Torch.ipynb
•4-3. Bi-LSTM with Attention - Binary Sentiment Classification
oColab - Bi_LSTM(Attention)_Tensor.ipynb, Bi_LSTM(Attention)_Torch.ipynb
5. Model based on Transformer
•5-1. The Transformer - Translate
oPaper - Attention Is All You Need(2017)
oColab - Transformer_Torch.ipynb, Transformer(Greedy_decoder)_Torch.ipynb
•5-2. BERT - Classification Next Sentence & Predict Masked Tokens
oPaper - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(2018)
oColab - BERT_Torch.ipynb
往期精品内容推荐
【全网首发】京东AI三大NLP项目实战
342个中、英文等NLP开源数据集分享
20年2月新书-《贝叶斯算法分析技术第三版》免费分享
李宏毅-《深度学习/机器学习2020》中文视频课程及ppt分享
MIT新课-《6.824分布式系统2020春》视频及ppt分享
最新免费书推荐-《因果推理算法概述》pdf免费下载
40+机器学习教程分享-涵盖机器学习所有方面
机器学习必看经典教材-《统计机器学习(数据挖掘、推理和预测)核心元素》最新版免费分享
斯坦福大学新课CS224W-2019-图网络机器学习算法-视频及ppt资源分享
历史最全自然语言处理测评基准分享-数据集、基准(预训练)模型、语料库、排行榜
自然语言领域中图神经网络模型(GNN)应用现状(论文)
中文自然语言处理测评数据集、基准模型、语料库、排行榜整理分享
深度学习自然语言处理模型实现大集合(精简版<100行)相关推荐
- Dataset:数据集集合(综合性)——机器学习、深度学习算法中常用数据集大集合(建议收藏,持续更新)
Dataset:数据集集合(综合性)--机器学习.深度学习算法中常用数据集大集合(建议收藏,持续更新) 目录 常规数据集 各大方向分类数据集汇总 具体数据集分类 相关文章 DL:关于深度学习常用数据集 ...
- 2019年深度学习自然语言处理最新十大发展趋势(附下载报告)
来源:专知 本文约5100字,建议阅读10分钟. 本文介绍了近日FloydHub 博客上Cathal Horan中自然语言处理的10大发展趋势. [ 导读 ]自然语言处理在深度学习浪潮下取得了巨大的发 ...
- 【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
https://blog.floydhub.com/ten-trends-in-deep-learning-nlp/ 来源:专知 2018年是基于深度学习的自然语言处理(NLP)研究发展快速的一年.在 ...
- 2019年深度学习自然语言处理最新十大发展趋势
十大发展趋势 NLP架构的趋势 1. 以前的word嵌入方法仍然很重要 2. 递归神经网络(RNNs)不再是一个NLP标准架构 3. Transformer将成为主导的NLP深度学习架构 4. 预先训 ...
- 重磅推荐!机器学习|深度学习|自然语言处理 书籍/课程/资料/资源大分享!
深度学习是如今最火热的技术之一,但是对于有心入门却不得其法的同学来说,选择适合自己的书籍至关重要. 本着乐于助人.无私奉献的精神,小编特意为大家精选了 10本深度学习相关的书籍.这些书籍中,有些非常注 ...
- 【NAACL2021】Graph4NLP:图深度学习自然语言处理(附ppt)
来源:专知本文约1500字,建议阅读5分钟 最新图深度学习在自然语言处理应用的概述报告,不可错过! 深度学习已经成为自然语言处理(NLP)研究的主导方法,特别是在大规模语料库中.在自然语言处理任务中, ...
- CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型
CCAI 2017 | 香港科技大学计算机系主任杨强:论深度学习的迁移模型 原2017.07.22AI科技大本营 作者 | 贾维娣 7月23日,由中国人工智能学会.阿里巴巴集团 & 蚂蚁 ...
- 【资源放送】机器学习/深度学习最全公开视频大放送!
文章首发于微信公众号<有三AI> [资源放送]机器学习/深度学习最全公开视频大放送! 该篇小记一下机器学习与深度学习的一些好的基础视频资源. 如果你是刚入门的小白,建议细细阅读一下下面将要 ...
- [深度学习] 自然语言处理---Transformer原理(一)
<Attention Is All You Need>是Google在2017年提出的一篇将Attention思想发挥到极致的论文.该论文提出的Transformer模型,基于encode ...
最新文章
- win10子系统ubuntu文件夹位置_win10子系统(WSL)自定义安装路径
- 从PPT到Word,用Python轻松实现办公自动化
- BPI:bit for Webduino WEB:Bit 教育版平台正式发布,支持离线安装使用
- Scala 类型的类型(一)
- boost::math模块二项式分布来预测概率 抛硬币时的正面和反面的测试程序
- python 小说 云_Python给小说做词云
- java sql2008的增删改查_SQL server数据库增删改查练习
- python基础之“换行符”的应用
- 校招应聘产品经理,怎么准备?网易大佬来回答
- flann中关于数据的stride
- windows DNS 服务器递归查询超时机制
- c语言if用法详解,C语言if语句的使用讲解
- V4L2框架-media device
- Helmetphone智能头盔上手体验,享受智能的运动骑行
- discuz X2数据字典
- opensuse下安装网易云音乐netease-cloud-music
- 关于C++ STL中的upper_bound()
- UML图——类图(6中关系)
- U盘安装Win7操作系统
- 计算机病毒不可能侵入rom吗,计算机试题选择题重点1