谈谈我在自然语言处理进阶上的一些个人拙见

导读

自然语言处理这个方向我感觉已经泛滥了，很多方向的人都开始转向该专业，当然也包括转向计算机视觉的。之前我写过一篇文章

谈谈我在自然语言处理入门的一些个人拙见

对很多人有过帮助，我感到很开心。但是现在已经不同往日了，很多人早已经入门了。当然，如果你已经进阶了，就忽略这个文章吧。嘿嘿。很多人通过微信，公众号等问我：现在已经看完深度学习视频了，我该怎么办？或者我早已经写完分类器了，接下来怎么办？等等。

我就不一一解答了，其实我也很不好意思解答的，因为我自己现在也没啥成就，研究生3个多月了，论文还木有idea。。啊。我自己都头疼。但是，我可以通过自己，和身边师兄师姐，以及导师的经验来给大家说说。

放下书，动手实践

我导师是最不推荐看书的，当然我刚开始还是反对的，但是时间长了，觉得说的确实很对，很多资料网上都会有。而且，看书也有个问题，你虽然可以系统的学，但是有些东西你一般不会用到的，这就导致时间长了，你不用，你就忘了。其实你目前的知识已经可以了，你了解了深度学习，早就把CNN，RNN（LSTM等变形）懒熟于心，听都听烦了。其实基础已经可以了。该动手实践了。咳咳，马克思说过，实践是检验真理的唯一途径。是吧。

灵活掌握各种常用模型

那么怎么实践呢？我的建议是从学会玩模型开始。当然你有更好的方法，更好。

简单的CNN你已经会了，你应该知道咱们通常用的是单通道的CNN，那么你会写多通道的吗？（多通道其实NLP中用了也是最多2通道，一个是随机化embedding，一个是预训练embedding）然后多层CNN也可以尝试呀。

word级别的你是经常用了，那么char的呢？写写CharCNN（Char经过CNN 然后和Word的embedding cat到一起，得到新的embedding然后再经过CNN）

LSTM你会了，那么和CNN结合怎么用呢？先CNN在LSTM或者先LSTM再CNN都可以，你试试。

之前用的都是线性的，那么非线性的，比如句法树呢？又该怎么用呢？现在常用的有TreeGRU和TreeLSTM，你都可以试试。

再进阶就是seq2seq模型，这个很常用的，别名也可以说是encoder-decoder模型（这里的attention机制你需要具体了解下）。

如果你想挑战下自己，可以看看去年google刚提出的模型Transformer！地址为

http://nlp.seas.harvard.edu/2018/04/03/attention.html

当然，上述只是说了一部分，你有自己的模型学习路线更好啦。

基础的都掌握之后，感觉你就不会定性到最初的CNN，LSTM模型当中了。觉得模型原来可以这么灵活？就会对自己产生了自信感。

然后就可以看论文，看别人的模型怎么实现。最之前的时候，我看别人论文的模型的时候，都是，额，这是怎么搭建的？如果你会了上述的模型，你再看别人论文的时候，心里起码比之前更有底气，更好的情况是论文的模型图你一看心里就已经用代码搭建完毕这个模型！

上面的模型，网上其实很多的，推荐用github搜索，然后选择自己的编程偏好的代码即可。

这个时候我得附上我师兄写的各种模型了，虽然没有包括上述所有的模型，但是可以借鉴！

当然也可以看我自己最近刚搭建的模型框架（我自己都不好意思放出来，还不完整，每天会抽时间完善下）

欢迎大家star和fork

搭建自己的代码框架

我之前写代码都不怎么考虑可读性，别人的可用性。既然是进阶阶段，就要学会自己搭建自己的框架。看看导师的github的代码风格，看看你敬佩的师兄的代码风格，或者看看国外大佬的代码风格等。多看看，最终形成自己的代码风格。看看模块怎么搭建？代码怎么注释？哪些函数用起来即简单又方便等。

搭建自己github项目时，记得写readme！（额，我现在还没写，但是马上就会完善的，咳咳）要把readme写的越详细越好，最好能让别人看到你的readme直接就能灵活运用你的代码。

对了，这里说下为什么要搭建自己的模型框架：因为自己的框架搭建好之后，以后无论写写什么模型，都可以直接套过来用，不用再重新实现一些重复的代码。

其他建议

CRF你需要了解；要实时关注咱们这个方向的国际大牛的动态；慢慢补充自己的概率论，线数的短板（这个目前我刚开始要补，哎，加油加油）；每天学点英语吧，为以后写论文打基础（我坚持了很长时间后，现在有点松懈，不行不行，继续坚持）

好了，就到这里吧，有什么问题，留言告诉我，或者通过公众号右下角加我，私聊！

更多精彩内容，请关注 深度学习自然语言处理 公众号，就是下方啦！跟随小博主，每天进步一丢丢！哈哈！

谈谈我在自然语言处理进阶上的一些个人拙见相关推荐

NLP工程师必学技能，自然语言处理进阶手册
系列课程基础入门:<自然语言处理通关手册> 实战进阶:<自然语言处理进阶手册> 2021 年,Google 一下 NLP 职位,你会发现有大量的相关搜索.实际上,世界各地各大 ...
基于TensorRT的BERT实时自然语言理解（上）
基于TensorRT的BERT实时自然语言理解(上) 大规模语言模型(LSLMs)如BERT.GPT-2和XL-Net为许多自然语言理解(NLU)任务带来了最先进的精准飞跃.自2018年10月发布以来 ...
15年来，自然语言处理发展史上的8大里程碑
来源:Deep Tech深科技自然语言是人类独有的智慧结晶.自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向,旨在研究能 ...
深度学习在自然语言处理研究上的进展
深度学习在自然语言处理研究上的进展发表于3个月前(2016-01-25 14:26) 阅读(328) | 评论(0) 6人收藏此文章, 我要收藏赞0 摘要最近比较关注深度学习在NLP中的应用 ...
【JavaSE进阶(上)】自学笔记记得收藏时时回顾
final关键字 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y4clTw5g-1649075023636)(https://cdn.nlark.com/yuque/ ...
C语言篇+ 指针进阶(上)
目录一.前言 1.1进入主题 1.2牛刀小试二.指针数组 1.1指针数组的初始化 1.2指针数组存放一维数组的地址三.数组指针 1.1&数组名VS数组名 1.2数组指针的使用 1.2.1 ...
【MySQL】（万字解析）MySQL表的增删改查（进阶-上）
快速跳转✅ 1.数据库的约束 1.1 约束类型 1.2 NULL约束 1.3 UNIQUE:唯一约束 1.4 DEFAULT:默认值约束 1.5 PRIMARY KEY:主键约束 1.6 FOREIG ...
[译]Kinect for Windows SDK开发入门(八)：骨骼追踪进阶上
前7篇文件我们介绍了Kinect SDK中各种传感器的各种基本知识,我们用实验的方式演示了这些基本对象和方法的如何使用,这些都是Kinect开发最基本的知识.了解了这些基本知识后,就可以开发出一个基于 ...
python参考手册豆瓣_Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶上）...
Python 2.7 IDE Pycharm 5.0.3 想了想,还是稍微人性化一点,做个成品GUI出来起因没办法,在知乎预告了要做个GUI出来,吹的牛逼总得自己填坑,下次一定要慎重啊,话说也复习 ...
Python自定义豆瓣电影种类，排行，点评的爬取与存储（进阶上）
Python 2.7 IDE Pycharm 5.0.3 Firefox 47.0.1 具体Selenium及PhantomJS请看Python+Selenium+PIL+Tesseract真正自 ...

谈谈我在自然语言处理进阶上的一些个人拙见

谈谈我在自然语言处理进阶上的一些个人拙见相关推荐

最新文章

热门文章