机器学习(3.文本数据的特征抽取(第一种))

文本特征抽取

作用：对文本数据进行特征值化

类：sklearn.feature_extraction.text.CountVectorizer

1.CountVectorizer语法

• CountVectorizer(max_df=1.0,min_df=1,…)

• 返回词频矩阵

•CountVectorizer.fit_transform(X,y)

•X:文本或者包含文本字符串的可迭代对象

•返回值：返回sparse矩阵

•CountVectorizer.inverse_transform(X)

•X:array数组或者sparse矩阵

返回值:转换之前数据格式

•CountVectorizer.get_feature_names()

•返回值:单词列表

2.流程和例子
from sklearn.feature_extraction.text import CountVectorizerdef conuntvec():"""对文本进行特征值化:return: None"""cv = CountVectorizer()data = cv.fit_transform(["life is short,i like python","life is too long,i dislike python"])print(cv.get_feature_names())# 将sparse矩阵转换为·数组print(data.toarray())return Noneif __name__ == '__main__':conuntvec()

结果：
['dislike', 'is', 'life', 'like', 'long', 'python', 'short', 'too']
[[0 1 1 1 0 1 1 0][1 1 1 0 1 1 0 1]]
第一行，打印出统计所有文章当中所有的词，重复的只看做一次（词的列表）

注意：对于单个的英文字母直接进行放弃，不进行统计 (因为它是没有分类的依据的)

数据数组：，类似于统计的次数，对每篇文章，在词的列表里面进行统计每个词出现的次数

数据数组的第一行，第一个小数组：对应的输入的数据，以逗号分隔开，

例如第一句话是："life is short,i like python", 对应词的列表，出现几次值就为几

3. 文本特征抽取：统计次数 Count() ，可用于文本分类，情感分析

(1)对于中文特征值化要，按照指定的格式提前分好词，例如

中文文本以空格分开

from sklearn.feature_extraction.text import CountVectorizerdef countvec():"""对中文文本进行特征值化:return: None"""cv = CountVectorizer()data = cv.fit_transform(["人生 苦短 我 喜欢 Python Python","人生 漫长 不用 Python"])print(cv.get_feature_names())print(data.toarray())return Noneif __name__ == '__main__':countvec()

结果：代表的意思同英文一样，统计出次数

['python', '不用', '人生', '喜欢', '漫长', '苦短']
[[2 0 1 1 0 1][1 1 1 0 1 0]]

（2）可以使用jieba库进行分词

利用jieba库做中文特征抽取，例子


from sklearn.feature_extraction.text import CountVectorizer
import jiebadef cutword():content1 = jieba.lcut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，""所以每个人不要放弃今天。")content2 = jieba.lcut("我们看到的从很远星系来的光是在几百万年之前发出的，""这样当我们看到宇宙时，我们是在看它的过去。")content3 = jieba.lcut("如果只用一种方式了解某样事物，你就不会真正了解它。""了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")# 把分词后的列表转换成字符串c1 = ' '.join(content1)c2 = ' '.join(content2)c3 = ' '.join(content3)return c1, c2, c3def chinesevec():"""对一段文本使用jieba分词后组成有空格的格式的字符串进行文本特征抽取:return: None"""c1, c2, c3 = cutword()cv = CountVectorizer()data = cv.fit_transform([c1, c2, c3])print(cv.get_feature_names())print(data.toarray())return Noneif __name__ == '__main__':chinesevec()

抽取的结果：完成了中文特征抽取，文本特征值化

['一种', '不会', '不要', '之前', '了解', '事物', '今天', '光是在', '几百万年', '发出', '取决于',
'只用', '后天', '含义', '大部分', '如何', '如果', '宇宙', '我们', '所以', '放弃', '方式', '明天','星系', '晚上', '某样', '残酷', '每个', '看到', '真正', '秘密', '绝对', '美好', '联系', '过
去', '这样']
[[0 0 1 0 0 0 2 0 0 0 0 0 1 0 1 0 0 0 0 1 1 0 2 0 1 0 2 1 0 0 0 1 1 0 0 0][0 0 0 1 0 0 0 1 1 1 0 0 0 0 0 0 0 1 3 0 0 0 0 1 0 0 0 0 2 0 0 0 0 0 1 1][1 1 0 0 4 3 0 0 0 0 1 1 0 1 0 1 1 0 1 0 0 1 0 0 0 1 0 0 0 2 1 0 0 1 0 0]]

机器学习(3.文本数据的特征抽取(第一种))相关推荐

机器学习(4.文本数据的特征抽取(第二种TfidfVectorizer(TF-IDF)))
TF-IDF TF-IDF的主要思想是:如果某个词或短语在一篇文章中出现的概率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类. TF-IDF作用:用以评估一字词对 ...
NLP中文本数据扩增的几种方法【一】单词替换
和图像数据增强不同,NLP中文本数据增强比较少见.图像的一些增强操作,如图像旋转.灰度处理等等都不会改变图像的语义,语义不变变换的存在使得增广成为计算机视觉研究中必不可少的工具.但在NLP中进行数据增 ...
机器学习入门-文本数据-使用聚类增加文本的标签属性
通过对特征做一个kmeans聚类,将聚类的结果做为文本的标签值,可以使得样本的特征更多我们从sklearn.cluster中导入Kmeans建立模型进行聚类代码: 第一步:使用Dataframe格 ...
R语言机器学习与大数据可视化暨Python文本挖掘与自然语言处理核心技术研修
中国通信工业协会通信和信息技术创新人才培养工程项目办公室通人办[2017] 第45号 "R语言机器学习与大数据可视化"暨"Python文本挖掘与自然语言处理" ...
“R语言机器学习与大数据可视化”暨“Python文本挖掘与自然语言处理”核心技术高级研修班的通知
中国通信工业协会通信和信息技术创新人才培养工程项目办公室通人办[2017] 第45号 "R语言机器学习与大数据可视化"暨"Python文本挖掘与自然语言处理" ...
情感分析中文本数据预处理
读数据直接获取文件内容 # 获取文件内容一个文件中有很多行信息,每一行是一个序列 def getData(file):f = open(file,'r')raw_data = f.readline ...
Android页面数据传递的两种方式
在android中实现页面中数据的传递有两种方式: 1:第一种数据传递的方式是通过inputExtra方法来进行数据的传递的 2:第二中方法是通过bundle的方法来实现数据的传递的接下来我们首先来 ...
03_数据的特征抽取，sklearn特征抽取API，字典特征抽取DictVectorizer,文本特征抽取CountVectorizer，TF-IDF(TfidfVectorizer),详细案例
数据的特征抽取 A:特征抽取实例演示通过演示得出结论: 特征抽取针对非连续型数据特征抽取对文本等进行特征值化注:特征值化是为了计算机更好的去理解数据. B:sklearn特征抽取API skle ...
文本数据的机器学习自动分类方法
来源:http://blog.csdn.net/jdbc/article/details/50586042 本文为第一部分,着重介绍文本预处理以及特征抽取的方法. 随着互联网技术的迅速发展与普及,如何 ...

机器学习(3.文本数据的特征抽取(第一种))

文本特征抽取

机器学习(3.文本数据的特征抽取(第一种))相关推荐

最新文章

热门文章