Python分词及词性划分

下载Python

Python官网 python.org/download/
下载python，下图打勾，可以自动配置PATH

验证：
安装成功后，打开命令提示符窗口（win+R,在输入cmd回车），敲入python

如果失败配置环境变量有问题手动配一下

下载开发工具

安装PyCharm工具
PyCharm官网 jetbrains.com/pycharm/download/
下载好之后可以下载中文插件

新建项目
然后新建Python文件

英文分词

下载nltk

在终端输入
pip install nltk

下载之后还要下载nltk的包

会科学上网的话，直接:
import nltk
nltk.download('punkt')

不会科学上网就手动下好了
nltk包下载 github.com/nltk/nltk_data
下载packages就行

下载好后把，packages放在随意一个 报错 的位置
将 packages 重命名成 nltk_dataSearched in:- 'C:\\Users\\86187/nltk_data'- 'D:\\ProgramData\\Anaconda3\\envs\\emotional_analysis\\nltk_data'- 'D:\\ProgramData\\Anaconda3\\envs\\emotional_analysis\\share\\nltk_data'- 'D:\\ProgramData\\Anaconda3\\envs\\emotional_analysis\\lib\\nltk_data'- 'C:\\Users\\86187\\AppData\\Roaming\\nltk_data'- 'C:\\nltk_data'- 'D:\\nltk_data'- 'E:\\nltk_data'- ''

记得把要用到的包解压

from nltk import word_tokenize, pos_tagenglish = "When someone asked me about my favorite season, my answer certainly is spring. Because all the plants turn green and come into leaf in spring. And some kinds of flowers also become in bloom. "
# 英文分词
english = "When someone asked me about my favorite season, my answer certainly is spring. Because all the plants turn " \"green and come into leaf in spring. And some kinds of flowers also become in bloom. The spring makes the " \"world colorful. For too many people, spring means the beginning of a new year, and the green color of " \"spring represents hope. As far as I’m concerned, spring has the meaning of fresh and newly born. The " \"newborn seems to bring me energy and enthusiasm all the time. "
english_list = word_tokenize(english)
print("英文分词:" + ",".join(english_list))# 提取名词/动词
words = pos_tag(english_list)
noun = "名词:"
verb = "动词:"
for word in words:if word[1] in {"NN", "NNP", "NNS"}:noun = noun + "".join(word[0]) + ","if word[1] in {"VBD", "VBN", "VB"}:verb = verb + "".join(word[0]) + ","
# print([word for word in words ])
print(noun)
print(verb)

从外部读取文件分词

# 读取外部文件
f = open("English.txt", "r")  # 设置文件对象
str_e = f.read()  # 将txt文件的所有内容读入到字符串str中
f.close()
str_e_list = word_tokenize(str_e)
print("英文分词:" + ",".join(str_e_list))# 提取名词/动词
words_str = pos_tag(str_e_list)
noun_str = "名词:"
verb_str = "动词:"
for word in words_str:if word[1] in {"NN", "NNP", "NNS"}:noun_str = noun_str + "".join(word[0]) + ","if word[1] in {"VBD", "VBN", "VB"}:verb_str = verb_str + "".join(word[0]) + ","
# print([word for word in words ])
print(noun_str)
print(verb_str)

中文分词-jieba

下载jieba

在终端输入
pip install jieba

import jieba
import jieba.posseg as pseg# 中文分词
s = "如何才能更早发现疫情？在当前条件下应该采取什么样的管理措施，才能够快速找到密切接触者，让他们配合进行医学观察？会上，针对记者提问，中国疾控中心流行病学首席专家吴尊友予以回应。"
s_list = jieba.cut(s)
print ("Default Mode:", ",".join(s_list))
# 提取名词
noun = ""
verb = ""
words = pseg.cut(s)
for w in words:if w.flag == "n":noun = noun + "".join(w.word) + ","if w.flag == "v":verb = verb + "".join(w.word) + ","# print (w.word,w.flag)
print("名词："+noun)
print("动词："+verb)

Python分词及词性划分相关推荐

SEM竞价推广关键词托词方法与词性划分
关键词是SEM竞价推广工作最核心也是最基础的组成部分,一个合理科学且推广效果明显的账户,首当其冲是肯定有良好的关键词作为基石来支撑,简言之,搜索竞价推广就是对关键词的推广,让关键词出现在合适的广告位, ...
python 分词 jieba
原文链接: python 分词 jieba 上一篇: C++ 构造函数使用场景下一篇: python worldcloud 悟空传词云制作 jieba.cut方法接受两个输入参数: 1) 第一个参 ...
python来进行社团划分
利用python来进行社团划分,使用的是社团划分里面的GN算法. 程序代码如下 # -*- coding: utf-8 -*- """ Created on Sat Se ...
结巴分词python安装_“结巴”分词：做最好的Python分词组件
python 结巴分词学习 https://www.toutiao.com/a6643201326710784520/ 2019-01-06 10:14:00 结巴分词(自然语言处理之中文分词器) j ...
jieba（结巴）分词种词性简介
jieba为自然语言语言中常用工具包,jieba具有对分词的词性进行标注的功能,词性类别如下: Ag 形语素形容词性语素.形容词代码为 a,语素代码g前面置以A. a 形容词取英语形容词 adje ...
jieba分词的词性表
注:jieba分词的词性表如下: 另附词性标注表如下: 1. 名词 (1个一类,7个二类,5个三类) 名词分为以下子类: n 名词 nr 人名 nr1 汉语姓氏 nr2 汉语名字 nrj 日语人名 n ...
《机器学习》西瓜书课后习题4.3——python实现基于信息熵划分的决策树算法（简单、全面）
<机器学习>西瓜书课后习题4.3--python实现基于信息熵划分的决策树算法 <机器学习>西瓜书P93 4.3 试编程实现基于信息熵进行划分选择的决策树算法,并为表4.3中数 ...
python 分词字典的词性_自然语言处理基础技术之分词、向量化、词性标注
欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 作者:段石石前言前段时间,因为项目需求, 开始接触了NLP,有感自己不是科班出身,很多东西理解不深,于是花时间再读了一些NLP的经典教程的 ...
python分词和词频统计
Python大数据:jieba分词,词频统计黑冰中国关注 0.1 2018.03.21 11:39* 字数 1717 阅读 7553评论 6喜欢 45赞赏 1 实验目的学习如何读取一个文件学 ...
python分词统计词频_基于结巴分词做的全文分词统计词频小脚本
受朋友之托,写一个小脚本,断断续续做了两天,写一下两天的收获. 起因有个朋友说专业文档很枯燥难懂,需要一个能把全文的关键词找出来并排序的东西,找不到现成的,问我能不能做一个.我前些天也听车神说有关分 ...

Python分词及词性划分

下载Python

下载开发工具

英文分词

中文分词-jieba

Python分词及词性划分相关推荐

最新文章

热门文章