自然语言处理(NLP)是现代计算机科学和人工智能领域的一个重要分支,是一门融合了语言学、数学、计算机科学的科学。这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。

  1. 词法分析

基于大数据和用户行为,对自然语言进行中文分词、词性标注、命名识体识别,定位基本语言元素,消除歧义,支撑自然语言的准确理解。

中文分词 —— 将连续的自然语言文本,切分成具有语义合理性和完整性的词汇序列

词性标注 —— 将自然语言中的每个词,赋予一个词性,如动词、名词、副词

命名实体识别 —— 即专有名词识别,识别自然语言文本中具有特殊意义的实体,如人名、机构名、地名

  1. 依存句法分析

利用句子中词与词之间的依存关系,来表示词语的句法结构信息,并用树状结构来表示整句的结构。依存句法分析主要有几大作用:

精准理解用户意图。当用户搜索时输入一个query,通过依存句法分析,抽取语义主干及相关语义成分,实现对用户意图的精准理解。

知识挖掘。对大量的非结构化文本进行依存句法分析,从中抽取实体、概念、语义关系等信息,构建领域知识。

语言结构匹配。基于句法结构信息,进行语言的匹配计算,提升语言匹配计算的准确率。

  1. 词向量表示

词向量计算是通过训练的方法,将语言词表中的词映射成一个长度固定的向量。词表中的所有词向量构成了一个向量空间,每一个词都是这个向量空间中的一个点。利用这种方法,实现文本的可计算。主要应用在:

快速召回结果。不同于传统的倒排索引结构,构建基于词向量的快速索引技术,直接从语义相关性的角度召回结果。

个性化推荐。基于用户的过去行为,通过词向量计算,学习用户的兴趣,实现个性化推荐。

  1. DNN语言模型

语言模型是通过计算给定词组成的句子的概率,从而判断所组成的句子是否符合客观语言表达习惯。通常用于机器翻译、拼写纠错、语音识别、问答系统、词性标注、句法分析和信息检索等。

  1. 词义相似度

用于计算两个给定词语的语义相似度,基于自然语言中的分布假设,即越是经常共同出现的词之间的相似度越高。词义相似度是自然语言处理中的重要基础技术,是专名挖掘、query改写、词性标注等常用技术的基础之一。主要应用:

专名挖掘 —— 通过词语间语义相关性计算寻找人名、地名、机构名等词的相关词,扩大专有名词的词典,更好的辅助应用

query改写 —— 通过寻找搜索query中词语的相似词,进行合理的替换,从而达到改写query的目的,提高搜索结果的多样性。

  1. 短文本相似度

短文本相似度计算服务能够提供不同短文本之间相似度的计算,输出的相似度是一个介于-1到1之间的实数值,越大则相似度越高。这个相似度值可以直接用于结果排序,也可以作为一维基础特征作用于更复杂的系统。

  1. 评论观点抽取

自动分析评论关注点和评论观点,并输出评论观点标签及评论观点极性,包括美食、酒店、汽车、景点等,可帮助商家进行产品分析,辅助用户进行消费决策。

  1. 情感倾向分析

针对带有主观描述的中文文本,可自动判断该文本的情感极性类别并给出相应的置信度。情感极性分为积极、消极、中性。情感倾向分析能帮助企业理解用户消费习惯、分析热点话题和危机舆情监控,为企业提供有力的决策支持。

人工智能自然语言处理技术处理专业领域的运用相关推荐

  1. 人工智能自然语言处理技术在财务管理专业的应用

    人工智能自然语言处理技术在财务管理专业的应用 人工智能(Artificial Intelligence) ,英文缩写为AI.它是研究.开发用于模拟.延伸 和扩展人的智能的理论.方法.技术及应用系统的一 ...

  2. 自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索、推荐以及算法相关工作。多年来主要从事推荐系统以及机

    自然语言处理技术(NLP)在推荐系统中的应用 原2017.06.29人工智能头条 作者: 张相於,58集团算法架构师,转转搜索推荐部负责人,负责搜索.推荐以及算法相关工作.多年来主要从事推荐系统以及机 ...

  3. 指利用计算机技术实现对文本篇章的理解,行业发展|人工智能的自然语言处理技术已经到了这一步...

    [摘要]随着当今社会科学技术的持续发展,和人们对编程技术的发展,近年来AI产业正在飞速发展,并且当今社会也有越来越多的人工智能产业实践,所以越来越多的人都开始关注自然语言处理技术方面,由此可见人工智能 ...

  4. 自然语言处理技术:让人工智能“听懂人话”

    编者注: 更多人工智能业务方面重要的发展请关注2018年4月10-13日人工智能北京大会. 人工智能的奇妙之处在于,它能让机器像人类一样拥有理解能力,完成智能任务.而它的难解之处在于,如何让人工智能拥 ...

  5. AIBlockChain:“知名博主独家讲授”人工智能创新应用竞赛【精选实战作品】之《基于计算机视觉、自然语言处理和区块链技术的乘客智能报警系统》案例的界面简介、功能介绍分享之自然语言处理技术

    AI&BlockChain:"知名博主独家讲授"人工智能创新应用竞赛[精选实战作品]之<基于计算机视觉.自然语言处理和区块链技术的乘客智能报警系统>案例的界面简 ...

  6. 浅谈自然语言处理技术在自动化的应用

    自然语言处理与技术其在自动化的应用 引言 作为人工智能领域的一个重要分支,自然语言处理在目前的学术界领域非常的有市场.无论从哪个方面来看,自然语言处理技术,非常的具有前瞻性.目前,自然语言处理技术应以 ...

  7. 人工智能 | 自然语言处理研究报告(技术篇)

    博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 ================= ...

  8. 基于人工智能的图像处理技术:利用Opencv实现

    基于人工智能的图像处理技术 本文档基于电子科技大学软件工程学院的的一门图像处理技术课程要求所撰写,希望后来的学习学妹!!!!不要照抄!!!!! 人工智能概述 人工智能,作为计算机科学的一个重要分支,它 ...

  9. 2019年上半年收集到的人工智能自然语言处理方向干货文章

    2019年上半年收集到的人工智能自然语言处理方向干货文章 自然语言(NLP)发展史及相关体系 读了这篇文字,做年薪百万的NLP工程师 聚焦机器"读.写.说.译",探寻NLP未来之路 ...

  10. 图像处理、语音处理的应用及前沿技术_人工智能,虚拟技术,语音识别技术在我们的生活中...

    人工智能(Artificial Intelligence),英文缩写为AI.它是研究.开发用于模拟.延伸和扩展人的智能的理论.方法.技术及应用系统的一门新的技术科学. 人工智能是计算机科学的一个分支, ...

最新文章

  1. 安卓版文字扫描识别软件
  2. php运行ecshop,ecshop2.x代码执行
  3. 【java】itoo项目实战之hibernate 懒载入优化性能
  4. ajax nginx 转发 sessionid_Nginx+Apache实现动静分离 - 孙天飞
  5. VB.NET 创建WORD文档
  6. lxml 和 XPah (爬虫)
  7. C++内存模型和原子类型操作
  8. 百信银行基于 Apache Hudi 实时数据湖演进方案
  9. linux多线程 pthread用法
  10. 一键部署 Spring Boot 到远程 Docker 容器
  11. Zookeeper——入门介绍(相关原理、安装启动及使用操作)
  12. 内核同步机制之Mutex Exclusion
  13. 面向终端计算机网络的应用原理,山东科技大学计算机网络原理及应用复习提纲.doc...
  14. 数据挖掘:概念与技术(第三版)之第四章的学习记录
  15. [乙女向]金色琴弦2f 安可[PSP汉化版][带完美存档+文档攻略+金手指]
  16. Win10/WinServer2016安装wireshark报“KB2999226 和 KB3118401”补丁未安装解决方式
  17. droidcam调用手机摄像头的方法(提供PC+Android软件,不需要积分)
  18. GoLang语言:邮件群发器
  19. Facial Emotion Recognition: State of the Art Performance on FER2013
  20. 手动挡你会开吗 八招教你开好手动挡车型

热门文章

  1. android迷你世界助手52,迷你世界助手盒子刷迷你币
  2. python爬虫豆瓣推理书籍及链接
  3. FS7022双节锂电池8.4V保护IC电路图
  4. logistic回归分析优点_干货——检验人最常用的统计学分析方法梳理(二)
  5. 【学习笔记】MATLAB与数学建模——蒙特卡罗模拟仿真
  6. Linux之VM12+ CentOS7安装以及网络配置
  7. 解决Nvivo自动编码问题,nvivo自动编码语言包
  8. 计算机毕业论文任务书模板,平面设计毕业论文任务书范文
  9. Python语音识别终极指北,没错,就是指北!
  10. mysql切换数据库命令_MySQL数据库的基础使用命令大全