读了这篇文字，做年薪百万的NLP工程师

https://www.toutiao.com/a6662616502908224003/

知乎上一个非常棒的关于NLP最新进展的文章，分享在这里：NLP深度学习最新趋势 - SimpleJian的文章 - 知乎

https://zhuanlan.zhihu.com/p/51479851

该文章主要是对下面论文的一个翻译和总结，翻译的特别好，很好懂，点击最下面的了解更多去阅读原委，我这里只节选了一些简介。

文章链接：https://arxiv.org/pdf/1708.02709.pdf

深度学习方法利用多层处理结构来学习数据中的层次化表示，在很多领域都得到了SOTA的结果。最近几年，NLP领域涌现了大量的深度学习模型和方法，这篇文章总结了一些比较重要的在NLP领域广泛应用的深度学习方法，并回顾其发展历程。通过总结和对比不同的模型，让我们对NLP中的深度学习有了一个更详细的了解。

自然语言处理（NLP）是一门为了自动分析和表达人类语言的理论驱动的计算机技术。NLP的研究最早可以追溯到打孔卡和批处理时代，在当时，处理一句话就要7分钟，而现在，我们可以在1秒钟内处理上百万的网页[1]。NLP 使得计算机可以执行各种各样不同层次的自然语言相关任务，从词性标注到机器翻译到对话系统。

深度学习架构和算法已经在诸如计算机视觉和模式识别领域取得了令人瞩目的成果。在这一趋势下，最近NLP领域的研究也日益聚焦到深度学习方法（Fig. 1）。几十年来，针对NLP问题的机器学习方法都是基于高维稀疏特征训练浅层模型（如SVM和logistic regression），在过去几年中，基于神经网络的稠密向量表示已经在很多NLP任务上得到了更好的结果，主要是词向量[2, 3]的成功和深度学习方法[4]引领了这一趋势。与此对比的是，基于传统机器学习的NLP系统往往依赖于手工提取特征，不仅费时费力，而且往往不全。

Collobert et al [5] 用一个简单的深度学习框架就在诸如命名实体识别、语义角色标注和词性标注等NLP任务上打败了最先进的方法。从那开始，大量的复杂的基于深度学习的算法被提出来解决各种NLP任务。这篇文章总结了在NLP领域广泛应用的深度学习方法，包括CNN，RNN，同时也讨论了memory-augment strategies、注意力机制以及最近的无监督模型、强化学习方法、深度生成模型如何用在NLP相关任务中。

这篇文章结构如下：第二部分介绍复杂深度学习模型的基础——分布式表示的相关概念；第三、四、五部分主要讨论主流模型，包括CNN，RNN等；第六部分是关于强化学习在NLP中的应用以及无监督句子表示学习；然后，第七部分阐述了近年来深度学习模型与存储模块结合的发展趋势；最后，第八部分总结了一系列深度学习方法在相关NLP标准数据集上的表现。

总结

深度学习提供了一种可以利用大量数据和计算力的方法，而且几乎不需要人肉特征工程[90]。通过分布式表示，各种深度学习模型在NLP问题上都取得了SOTA。就目前而言，大部分模型都是监督学习的，然而，在很多现实场景中，我们都有大量的未标注数据，要利用这些数据我们需要先进的无监督或者半监督学习方法。如果在测试模型的时候遇到某些特定类别缺少标注数据或者出现新的类别，则需要采用zero-shot等学习策略。虽然这些学习方法仍然处于发展阶段，但我们期待基于深度学习的NLP研究能朝着更好利用无标注数据的方向发展，我们预计这种趋势会随着更多更多更好的模型设计而继续。我们也希望能看到更多采用强化学习的NLP应用，例如对话系统，我们还希望能看到更多多模态学习的研究[190]，因为在现实世界中，语言通常以其他信号为基础或者与之相关。

最后，我们希望能看到更多的深度学习模型，其内部存储（从数据中学到的自下而上的知识）可以通过外部存储（从知识库中继承的自上而下的知识）进行丰富。结合symbolic和sub-symbolic 人工智能将是从NLP到自然语言理解的道路上前进的关键。事实上，依靠机器学习，可以根据过去的经验做出“好的猜测”，因为sub-symbolic方法可以编码相关性，而决策过程也是概率性的。然而，自然语言理解需要的远不止于此，用Noam Chomsky的话来讲，“你不会通过获取大量数据，将它们扔进计算机并对它们进行统计分析来获得科学中的发现：这不是你理解事物的方式，你必须有理论上的见解”。

读了这篇文字，做年薪百万的NLP工程师相关推荐

区块链技术培训—从技术小白到年薪百万区块链工程师的进阶之路
近期,百度.小米.京东.360.联想等行业巨头纷纷开出高薪招聘区块链开发,甚至有公司开出了500万的年薪在找区块链工程师. 喂,正在埋头苦干.默默搬砖的你,有没有想过自己有一天也可以过上年薪百万的日子 ...
成为年薪50W+的NLP工程师，需要哪些技能？
对于NLP从业者来说,每天都面临着灵魂拷问: 如何增加知识储备,构建完整知识体系? 如何保持对于NLP领域前沿技术的敏感性? 如何快速进阶,成为NLP专家? 如今,被誉为"人工智能领域皇冠上 ...
年薪百万的阿里 P7 到底该具备什么样的能力？！解密篇
见字如面,我是军哥! 在互联网领域,阿里的职级和腾讯的职级体系相当于行业标准了,所以技术人还是需要学习一下/对标一下,从而知道自己目前在哪里,努力的方向是哪里? 那么,阿里 P7 级别到底需要哪些能力 ...
随笔-年薪百万就从小事做起
这段时间,帝都的雨水比往年多了不少. 上周五下班,金宝兄想蹭我的电驴到地铁站. 路上聊了聊,他说他哥的一个朋友,八年经验,入职了某大厂, 现在年薪百万,给他一个忠告:尽量进大厂. 这刺激就比较大了,他 ...
年薪百万的PMO究竟是做啥的？一篇文章告诉你
PMO体系在国外日渐成熟,近几年国内也有越来越多的公司和组织成立PMO部门,但大多还是集中在规模比较大的企业来设立PMO部门,承担的责任也越来越大. 但是因为很多PMO的小伙伴们都是半路出家,或者是转 ...
人人年薪百万？醒醒！
今天刷知乎,看见一个很有趣的帖子: 中青校媒的一份调查结果显示:67.65%的大学生评估自己10年内会年薪百万. 这个帖子下面一堆答主在那疯狂的讽刺挖苦,觉得年轻人什么都不懂就会幻想. 我倒是觉得年轻 ...
年薪百万是种怎样的体验
最近冯老师和浪人高少先后发文谈及百万年薪的话题,忍不住我也跟着扯几句. 先做个说明,本文中提及的年薪,包含基本薪酬和存在相对明确预期的股权,分红收益(当然也会在一定范围内起伏).比如阿里,腾讯,百度, ...
浙大吴飞「舌战」阿里贾扬清：AI内卷与年薪百万，哪个才是真实？
转自:机器之心为了推动 AI 技术的应用创新,促进人工智能领域的学术交流.人才培养,打造人工智能的人才交流平台与产业生态圈,中国人工智能学会联合杭州市余杭区人民政府联合发起了首届全球人工智能技术创新 ...
年薪百万！这所高校一名本科生入选“天才少年”
近日,华中科技大学电信学院2017级博士生廖明辉入选华为"天才少年"计划,斩获最高档年薪201万元的消息,引发热议! >>>> 据了解,除了廖明辉,该校计算 ...

读了这篇文字，做年薪百万的NLP工程师

读了这篇文字，做年薪百万的NLP工程师相关推荐

最新文章

热门文章