python 读取网页并分词

代码：

import requests
from bs4 import BeautifulSoup
import jieba# 获取html
url = "http://finance.ifeng.com/a/20180328/16049779_0.shtml"
res = requests.get(url)
res.encoding = 'utf-8'
content = res.text# 添加至bs4
soup = BeautifulSoup(content, 'html.parser')
div = soup.find(id = 'main_content')# 写入文件
filename = 'news.txt'
with open(filename,'w',encoding='utf-8') as file_object:# <p>标签的处理for line in div.findChildren():file_object.write(line.get_text()+'\n')# 使用分词工具
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))with open(filename,'r',encoding='utf-8') as file_object:with open('cut_news.txt','w',encoding='utf-8') as file_cut_object:for line in file_object.readlines():seg_list = jieba.cut(line,cut_all=False)file_cut_object.write('/'.join(seg_list))

爬取结果：

分词结果：

python 读取网页并分词相关推荐

python读取网页表格数据库_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
Python读取Excel展现在网页上
一.一个好玩的办公程序今天给大家介绍了好玩的程序,使用Python读取Excel,并把读取的数据展现在网页上. 这次我们包含的技术有Python里的pandas和flask库.有关两个库的介绍大家可 ...
python读取gzip格式及普通格式网页的方法
一般情况下,我们读取网页分析去返回内容时是这样子的: #!/usr/bin/python #coding:utf-8 import urllib2 headers = {"User-Agen ...
python爬网页数据到 excel 自动化_Selenium2+python自动化之读取Excel数据（xlrd）
前言当登录的账号有多个的时候,我们一般用excel存放测试数据,本节课介绍,python读取excel方法,并保存为字典格式. 一.环境准备 1.先安装xlrd模块,打开cmd,输入pip inst ...
python网页表格读取_是否可以读取网页html表格数据？
我目前正在考虑一些自动读取网页数据.因此,有没有可能从网页中读取以下类型的表格:excel应该有一个值name of condion,Operator and Expressions.在编辑> ...
python读取图片分辨率_python获取网页中所有图片并筛选指定分辨率的方法
压测时,图片太少,想着下载网页中的图片,然后过滤指定分辨率,但网页中指定分辨率的图片太少了(见下) 后使用格式工厂转换图片 import urllib.request # 导入urllib模块 imp ...
python提取网页表格信息_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
如何用python读取文本中指定行的内容
如何用python读取文本中指定行的内容 搜索资料 我来答分享新浪微博 QQ空间浏览 5284 次查看全文 http://www.taodudu.cc/news/show-64036.ht ...
python读数据-如何用Python读取开放数据？
当你开始接触丰富多彩的开放数据集时,CSV.JSON和XML等格式名词就会奔涌而来.如何用Python高效地读取它们,为后续的整理和分析做准备呢?本文为你一步步展示过程,你自己也可以动手实践. 需求 ...
python读取txt文件乱码-python文件乱码
广告关闭腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 原文地址:http:www.zisexinghen.cnlikeshare322. ...

python 读取网页并分词

python 读取网页并分词相关推荐

最新文章

热门文章