python爬虫采集网站数据

1.准备工作：

1.1安装requests: cmd >> pip install requests

1.2 安装lxml: cmd >>  pip install lxml

1.3安装wheel: cmd >>  pip install wheel

1.4 安装xlwt: cmd >> pip install xlwt

2. 编写代码

2.1使用requests.get获取页面

编译结果

2.2 使用lxml将数据改成xpath结构

2.3 精确获取数据

2.4 使用for in循环输出数据

注意：print(tr.xpath(".//td/text()"))中如果没有加.只会循环相同的内容，上图就是没有加点

正确做法

2.5 只获取需要的数据

3.使用xlwt创建excel表，存储数据

3.1 创建excel表

运行结果

3.2 将数据添加到excel表中

3.3 批量添加数据（让j累加）

3.4 多页数据添加

最终代码

import requestsfrom lxml import etreeimport xlwt#设置浏览器的请求头，告诉服务器我们是从浏览器来的，作用是阻止被网站反爬

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36','Accept-Encoding': 'gzip, deflate','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3','Connection': 'keep-alive'}#创建一个工作簿

f = xlwt.Workbook()#添加一个工作表

sheet3d = f.add_sheet("3d", cell_overwrite_ok=True)#往表里添加表头

row0 = ['开奖日期','期号','中奖号码1','中奖号码2','中奖号码3','销售额(元)','返奖比例']for i in range(0,len(row0)):sheet3d.write(0,i,row0[i])j = 1for i in range(1, 21):url = "http://kaijiang.zhcw.com/zhcw/html/3d/list_{}.html".format(i)#发送请求 得到数据
response = requests.get(url=url,headers=headers)#print(response.text)#将数据改成xpath结构
res_xpath = etree.HTML(response.text)trs = res_xpath.xpath('/html/body/table//tr')# print(trs)# 写入循环for tr in trs[2:-1]:sheet3d.write(j,0,tr.xpath("./td[1]/text()")[0])sheet3d.write(j,1,tr.xpath("./td[2]/text()")[0])sheet3d.write(j,2,tr.xpath("./td[3]/em[1]/text()")[0])sheet3d.write(j,3,tr.xpath("./td[3]/em[2]/text()")[0])sheet3d.write(j,4,tr.xpath("./td[3]/em[3]/text()")[0])sheet3d.write(j,5,tr.xpath("./td[4]/text()")[0])sheet3d.write(j,6,tr.xpath("./td[5]/text()")[0])j += 1;f.save('3D.xls')

转载于:https://www.cnblogs.com/kinblog/p/10782452.html

python爬虫采集网站数据相关推荐

python爬虫爬网站数据登录_使用webdriver+urllib爬取网页数据(模拟登陆，过验证码)...
urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...
Python爬虫采集抓取：Python3.x+Fiddler 采集抓取 APP 数据
随着移动互联网的市场份额逐步扩大,手机 APP 已经占据我们的生活,以往的数据分析都借助于爬虫采集爬取网页数据进行分析,但是新兴的产品有的只有 APP,并没有网页端这对于想要提取数据的我们就遇到了些问 ...
如何用最简单的Python爬虫采集整个网站
在之前的文章中Python实现"维基百科六度分隔理论"之基础爬虫,我们实现了在一个网站上随机地从一个链接到另一个链接,但是,如果我们需要系统地把整个网站按目录分类,或者要搜索网站上 ...
python百度云盘搜索引擎_2016百度云网盘搜索引擎源码,附带Python爬虫+PHP网站+Xunsearch搜索引擎...
品牌: 其他语言: PHP 数据库: Mysql 源文件: 完全开源(含全部源文件) 授权: 免授权规格: 整站源码移动端: 无移动端安装服务: 收费安装(另补差价) 操作系统: Window ...
Python批量采集商品数据并使用多线程（含完整源码）
前言嗨喽,大家好,这里是魔王~ 本次目的: Python批量采集商品数据知识点: 爬虫基本流程非结构化数据解析 csv数据保存线程池的使用开发环境: python 3.8 pycharm r ...
Python爬虫人工智能大数据全栈视频史上最全合辑教程分享！
Python爬虫人工智能大数据全栈视频史上最全合辑教程分享! 毫无疑问Python是这两年最火的编程语言,不仅容易上手,且在多个行业都可应用.尤其今年人工智能及大数据的发展,Python将会展现更多的 ...
Python爬虫学习之数据提取(Beautiful Soup)
Python爬虫学习之数据提取Beautiful Soup 前期回顾概述解析器准备工作实例节点选择器方法选择器 find_all find 总结前期回顾 Python爬虫学习之reque ...
python爬虫获取基金数据2
用sklearn分析基金数据<1> python爬虫获取基金数据<2> 数据预处理:数据清洗.生成样本数据<3> 用sklearn训练样本数据<4> 用 ...
[Python爬虫] 三、数据抓取之Requests HTTP 库
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应 [Python爬虫] 二.爬虫原理之定义.分类.流程与编码格式一.urllib 模块所谓网页抓取,就是把URL ...