结巴分词python教程_python结巴教程【python3怎么使用结巴分词】

python3怎么使用结巴分词

下面这个程序是对一个文里的内容进行分词序：test.py

[python] view plain copy

#!/usr/bin/python

#-*- encoding:utf-8 -*-

import jieba #导入jieba

def splitSentence(inputFile, outputFile):

fin = open(inputFile, 'r') #以读的方式打开文件

fout = open(outputFile, 'w') #以写得方式打开文件

for eachLine in fin:

line = eachLine.strip().decode('utf-8', 'ignore') #去除每行首尾可能出现的空格，并转为Unicode进行处理

wordList = list(jieba.cut(line)) #用结巴分词，对每行内容进行分词

outStr = ''

for word in wordList:

outStr = word

outStr = '/ '

fout.write(outStr.strip().encode('utf-8') '\n') #将分词好的结果写入到输出文件

fin.close()

fout.close()

splitSentence('myInput.txt', 'myOutput.txt')

写完程序之后，在Linux重点输入：python test.py即可运行程序进行分词。

输入的文件内容如下所示：

经过结巴分词后，输出结果如下所示：

注意：第11行的 jieba.cut()返回的结构是一个可迭代的generator，可以用list(jieba.cut(...))转化为list

结巴分词python教程_python结巴教程【python3怎么使用结巴分词】相关推荐

2019最新Python学习教程（Python视频教程_Python学习教程_Python学习路线）：你心目中编程界的MVP是谁？
2019最新Python学习教程(Python视频教程_Python学习教程_Python学习路线):你心目中编程界的MVP是谁?编程界的王者是渐落寞的Java还是大火的Python? 是不是你们也喜 ...
python 3教程_Python 3 教程
全屏 Python 3 教程 Python的3.0版本,常被称为Python 3000,或简称Py3k.相对于Python的早期版本,这是一个较大的升级.为了不带入过多的累赘,Python 3.0在设 ...
ik分词和jieba分词哪个好_Python 中文文本分析实战：jieba分词+自定义词典补充+停用词词库补充+词频统计...
最近项目需要,实现文本的词频分析,折腾了几天才完成任务,有点成就感,最后整理总结一下这部分的内容,希望更多同僚受益. 一.使用前准备环境:Python3.6 安装结巴:pip install ji ...
python多态_Python 简明教程 21，Python 继承与多态
程序不是年轻的专利,但是,它属于年轻. 目录目录我们已经知道封装,继承和多态是面向对象的三大特征,面向对象语言都会提供这些机制. 1,封装在这一节介绍类的私有属性和方法的时候,我们已经讲到过封 ...
官网python安装教程_Python安装教程
1．python3.7官网下载 1. 在python的官网下载python版本,需要下载对应版本(在计算机-属性中查看自己是32位操作系统还是64位操作系统),我是64位的,就下载64位对应的安装包了 ...
python独立网站教程_python做网站教程_如何免费做网站的教程
python学习指南教程 180x270 - 7KB - JPEG 图灵程序设计丛书:Python基础教程 260x317 - 12KB - JPEG 跳一跳python使用教程微信跳一跳pytho ...
python入门语言教程_Python入门教程（1）
人生苦短,我用Python! Python(英语发音:/ˈpaɪθən/), 是一种面向对象.解释型计算机程序设计语言,由Guido van Rossum于1989年底发明,第一个公开发行版发行于19 ...
python爬虫scrapy框架教程_Python爬虫教程-30-Scrapy 爬虫框架介绍
从本篇开始学习 Scrapy 爬虫框架 Python爬虫教程-30-Scrapy 爬虫框架介绍框架:框架就是对于相同的相似的部分,代码做到不出错,而我们就可以将注意力放到我们自己的部分了常见爬虫框 ...
python多态_Python面向对象教程之多态
今天给大家介绍面向对象最后一个重要的特性--多态.如果想温习前两个重要特性(继承和封装),可以点开:<Python面向对象教程之基本概念>.<Python面向对象教程之单继承> ...
python模块编程教程_python进阶教程之模块（module）介绍
我们之前看到了函数和对象.从本质上来说,它们都是为了更好的组织已经有的程序,以方便重复利用. 模块(module)也是为了同样的目的.在Python中,一个.py文件就构成一个模块.通过模块,你可以调 ...

结巴分词python教程_python结巴教程【python3怎么使用结巴分词】

结巴分词python教程_python结巴教程【python3怎么使用结巴分词】相关推荐

最新文章

热门文章