NLPIR文本分析工具的功能和特色介绍
通常用于研究分析的数据中，非结构化的数据所占比例更高，这些非结构化的数据中也包含着重要的信息量，要运用文本分析工具来完成信息提取。文本分析是自然语言处理的一个小分支，是指从文本中抽取特征词进行量化以表示文本信息，文本一般指文字。过程是将无结构化的原始文本转化为结构化，高度抽象和特征化，计算机可以识别和处理的信息，进而利用机器学习，分类聚类等算法，再对文本进行分析处理。现已经在广告推荐和舆情监测方面实现应用。
NLPIR大数据语义智能分析平台十三大功能：
精准采集：对境内外互联网海量信息实时精准采集，有主题采集(按照信息需求的主题采集)与站点采集两种模式(给定网址列表的站内定点采集功能)。
文档转化：对doc、excel、pdf与ppt等多种主流文档格式，进行文本信息转化，效率达到大数据处理的要求。
新词发现：从文本中挖掘出新词、新概念，用户可以用于专业词典的编撰，还可以进一步编辑标注，导入分词词典中，提高分词系统的准确度，并适应新的语言变化。
批量分词：对原始语料进行分词，自动识别人名地名机构名等未登录词，新词标注以及词性标注。并可在分析过程中，导入用户定义的词典。
语言统计：针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计。针对常用的术语，会自动给出相应的英文解释。
文本聚类：能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适用于长文本和短信、微博等短文本的热点分析。
文本分类：根据规则或训练的方法对大量文本进行分类，可用于新闻分类、简历分类、邮件分类、办公文档分类、区域分类等诸多方面。
摘要实体：对单篇或多篇文章，自动提炼出内容摘要，抽取人名、地名、机构名、时间及主题关键词;方便用户快速浏览文本内容。
智能过滤：对文本内容的语义智能过滤审查，内置国内最全词库，智能识别多种变种：形变、音变、繁简等多种变形，语义精准排歧。
情感分析：针对事先指定的分析对象，系统自动分析海量文档的情感倾向：情感极性及情感值测量，并在原文中给出正负面的得分和句子样例。
文档去重：快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出所有的重复记录。
全文检索：支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT以及NEAR邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语言的检索。
编码转换：自动识别内容的编码，并把编码统一转换为其他编码。
NLPIR大数据语义智能分析平台是一个全链条的分析工具，完全本地化部署， 不上传用户数据，安全可靠。融合了网络精准采集、自然语言理解、文本挖掘和 网络搜索的技术，提供客户端工具、云服务以及二次开发接口，包含了大数据背 景下有关语义分析的各个环节的工具，无论对没有任何编程背景但要大量处理语 言、媒体信息的文科生辅助处理分析，还是对需要二次开发才能完成特定领域的 信息服务都可以满足要求。平台先后历时20年，融入了20年的科研成果。服务了全球40万家机构用户和100余家高校用户，免费给研究人员从事研究工作。
NLPIR文本分析工具的功能和特色介绍相关推荐
- linux基础--awk文本分析工具详解
简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再 ...
- 2019-8-20 [Linux] 6.Shell的基本操作 查看 改变 列出 阅读开头/结尾 循环查看 阅读工具less 查找文件内容 文本分析工具AWK 文本编辑工具SED文件find 帮助man
文章目录 6.linuxShell的基本操作 6.1 查看目录和文件 6.1.1 显示当前目录:pwd 6.1.2 改变目录:cd 6.1.3 列出目录内容:ls 1) 查看列表信息 以及详细信息 2 ...
- linux文本分析工具awk解读
awk是一个强大的文本分析工具,相对于grep的查找.sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.awk把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. ...
- 文本分析工具 数据科学_数据科学工具
文本分析工具 数据科学 The Data Scientist is the "Sexiest job of 21 Century", by Harvard Business Rev ...
- 百度统计高级分析工具使用方法，百度统计高级分析工具的功能有哪些
百度统计普遍使用的网站类型有,PC网站.手机站.wap站等,需要在统计的网站页面上安装百度统计JS代码. 百度统计高级分析工具使用方法 1.登录已经关联站点的百度统计账号. 2.点击高级分析-实时分析 ...
- awk文本分析工具用法
文本分析工具 awk awkawk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将 ...
- Linux系统IO分析工具之iotop常用参数介绍
Linux系统IO分析工具之iotop常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在一般运维工作中经常会遇到这么一个场景,服务器的IO负载很高(iostat中的 ...
- python爬虫自学笔记分析解密_python爬虫学习笔记——1 各种文本分析工具简介之汇总...
此处只简单汇总一下各种文本工具名目,他们的详细使用参见具体帖子.本文主要参考<8种目前Python使用率最高的文本处理工具>一文0.SnowNLP包 用于中文文本的处理 1.Jieba 2 ...
- 【Linux学习】强大的文本分析工具AWK
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符. 调用AWK: 1.命令行 ...
- AWK文本分析工具-常用场景（持续更新中）
AWK help document:http://www.gnu.org/software/gawk/manual/gawk.html 问题 awk命令 备注 对请求IP统计分组排序? 显示列 ...
最新文章
- PageHelper 使用 ThreadLocal 的线程复用问题
- 浏览器获取设备信息_过滤获取日志和浏览器信息
- vlc传输_如何使用VLC通过网络流式传输视频和音乐
- 高等数学上-赵立军-北京大学出版社-题解-练习3.4
- python 加权随机算法_python中的加权随机样本
- 自定义注解--Annotation
- linux数据软件,Linux数据安全工具：数据镜像软件DRBD的管理与维护
- css 禁止录入中文
- Android国家区号 中英文
- 2013年国家自然科学基金经费统计
- TP-LINK校招系统测试岗面经汇总
- 基于编码应用的主观全景视频质量评价数据库(译)
- ubuntu设置相机为固定焦距
- 关于Servlet的两种配置Web.xml文件配置或者使用(@WebServlet(name = ,urlPatterns = ))配置问题——WebServlet注解
- Notepad++下载安装介绍教程
- 获取淘宝订单的解决方案
- 深入理解java虚拟机(五)GC垃圾回收-经典垃圾收集器
- myaql数据库如何建表
- html5的download下载标签
- 方舟服务器自动维护,明日方舟剿灭关卡积水潮窟地图分析 干员选择与站位推荐[多图]...