【TeachNLP】文本数据处理-词表获取

计算机是不能直接识别语言的，比如英语，汉语……因此，需要先把自然语言转化成计算机能够识别的符号——数字（向量）。大体流程如下。

自然语言——>编号——>向量

当我们拿到一段文本，首先要统计出词表，并把词表保存成vocab.txt，方便后续使用。一般来说能用到词表的地方有：1、编号；2、词向量抽取；

词表的统计很简单，当我们拿到一段文本：

为了保证生成的词表没有重复的词语，我们采用集合set()来作为存储工具；为了保证程序的通用性，在处理文本时按行处理，代码如下。

处理结果中有数字，标点等一些“乱码”，需要过滤掉。

过滤符号，和一些无意义的词汇，可以用停用词表（stopwords），识别汉字可以根据识别文字编码来实现。

识别文字编码的代码，很简单：

停用词表则可以根据需要，自己建立一个stopwords.txt文件。

新的get_vocab()函数，多加了判断条件：

新结果：

打印出来的结果也比较干净了：

接下来要考虑如何保存词表，一般情况下，词表在文件里只保存一列，每行一个词：

代码改动如下：

查看全部代码及获取数据请前往：https://github.com/pkulics/teach_NLP/tree/master/2_process_data

更多内容及良好排版请前往：lichangsong.win

【TeachNLP】文本数据处理-词表获取相关推荐

Mysql数据库大文本数据处理
数据库大文本数据处理目标:把 mp3文件保存到数据库中!在my.ini中添加如下配置: max_allowed_packet=104857601 什么是大文本数据所谓大文本数据,就是大的字节数据,或大 ...
经常被人忽视的：Pandas 文本数据处理！
毋庸置疑,Pandas是使用最广泛的 Python 库之一,它提供了许多功能和方法来执行有效的数据处理和数据分析. 我们平时的操作,大多围绕着数字的处理,这是因为大家习惯将表格数据与数字联系起来.然而 ...
html 获得文本节点,JavaScript获取节点——获取文本节点
0.前言上一章讲了如何获取获取标签(元素)节点,这一节来和大家说一下如何获取属性节点. 我还是用代码来讲解: 获取属性节点 var jsInput = document.getElementById ...
java计算两个文本框的值,java 文本框自动获取另外两个文本框的值的乘积
java 文本框自动获取另外两个文本框的值的乘积关注:282 答案:2 手机版解决时间 2021-02-25 21:59 提问者壹玍徴戰何亽陪 2021-02-25 13:53 在panel里 ...
文本数据处理的终极指南-[NLP入门]
上海站 | 高性能计算之GPU CUDA培训 4月13-15日三天密集式学习快速带你晋级阅读全文 > 正文共10202个字,13张图,预计阅读时间26分钟. 简介实现任何程度或者级别的 ...
JQ JS 列表文本框 ondblclick 获取和设置该行其他元素值。
列表文本框 ondblclick 获取和设置该行其他元素值. οndblclick="set();" $("#text").bind("click&q ...
Excel·VBA文本按分隔获取函数
office 365新增函数<TEXTAFTER 函数>和<TEXTBEFORE 函数>可以对单元格文本,获取指定分隔符之前/之后文本对于没有office 365又想使用这个 ...
Python小案例（一）非结构化文本数据处理
Python小案例(一)非结构化文本数据处理日常业务需求中,仅凭SQL一招鲜是没法吃遍天的,这个时候就需要更为强大的Python进行支持了.这个系列主要分享一些Python小案例,都是根据笔者日常工 ...
100天精通Python（数据分析篇）——第71天：Pandas文本数据处理方法之str/object类型转换、大小写转换、文本对齐、获取长度、出现次数、编码
文章目录 1. 文本数据类型介绍 1)类型介绍 2)类型转换 3)类型区别区别1:统计字符串时区别2:检查字符串时 2. Python字符串内置方法 1) 大小写转换 2) 文本对齐 3)获取长度 ...
[图解]在输入框和文本框中获取和设置光标位置，以及选中文本和获取选中文本值的方法 --- 详解，兼容所有浏览器。...
为什么80%的码农都做不了架构师?>>> 写在前面最近在segmentfault上看到它的日期输入控件,感觉挺有意思.好吧,动手写一个,加到自己的代码库里吧. 然后问题来了, ...

【TeachNLP】文本数据处理-词表获取

【TeachNLP】文本数据处理-词表获取相关推荐

最新文章

热门文章