用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据

2019.6.11更新

今天查看发现网站用上了瑞数MmEwMD加密，本文已经不起作用了，就随便看看思路好了。

网址

中国福彩网： http://www.cwl.gov.cn/kjxx/ssq/kjgg/

环境

win10, python 3.6, pycharm

干货

import requests
import json
import pandas as pd
import csvcookies = {'UniqueID': 'xfxbgZKQTNlC0laj1534566549004','Sites': '_21','_ga': 'GA1.3.1038745649.1534566546','_gid': 'GA1.3.1604362988.1534566546','21_vq': '15',
}headers = {'Accept-Encoding': 'gzip, deflate','Accept-Language': 'zh-CN,zh;q=0.9','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36','Accept': 'application/json, text/javascript, */*; q=0.01','Referer': 'http://www.cwl.gov.cn/kjxx/ssq/kjgg/','X-Requested-With': 'XMLHttpRequest','Connection': 'keep-alive',
}# 处理三位数的补零
def add_zero(n):if len(str(n)) == 1:return '00' + str(n)elif len(str(n)) == 2:return '0' + str(n)elif len(str(n)) == 3:return str(n)# 写入标题
with open('C:\\ssq.csv', 'w', encoding='utf-8-sig', newline='') as f:  # newline防止产生一行隔一行有空行的情况csv.writer(f).writerow(['期号', '开奖日期', '红球', '蓝球', '总销售额（元）', '奖池（元）', '一等奖中奖情况', '本期中奖情况'])for q in range(1, 161):  # 每年基本在154期左右for y in range(2013, 2019):  # 从2013年到2018年params = (('name', 'ssq'),('issueCount', ''),('issueStart', str(y) + add_zero(q)),('issueEnd', str(y) + add_zero(q)),('dayStart', ''),('dayEnd', ''),('pageNo', ''))url = 'http://www.cwl.gov.cn/cwl_admin/kjxx/findDrawNotice'response = requests.get(url=url, headers=headers, params=params, cookies=cookies)result = json.loads(response.text)['result']  # 得到返回的json数据df = pd.DataFrame(result, columns=['code', 'date', 'red', 'blue', 'sales', 'poolmoney', 'content', 'prizegrades'])if df.empty == 0:df.to_csv('C:\\ssq.csv', mode='a', encoding='utf_8_sig',index=0, header=0)print("历年第" + str(q) + "期抓取完成")

End

走过路过，有任何问题，请不吝赐教。

用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据相关推荐

python爬虫遇到验证码的处理方法（以爬取中国执行信息公开网为例）
朋友们大家好,python爬虫是在学习python时比较容易上手的学习方式,爬虫的思路简要以下几点: 1.获取需要爬取页面的网址,并且对网页内容进行分析.(主要就源代码讨论,如果我们需要的内容没有在源 ...
Python实战案例：爬取中国执行信息公开网
从面试题谈起谈到这个项目的爬虫,就要从一道面试题谈起了. 这道面试题是: 请写一个爬虫从网址 http://zxgk.court.gov.cn/shixin/,检索被执行人姓名:"阿里&q ...
数据藏在json文件中，如何爬取---以王者荣耀官网为例
此前写了一个爬虫基础案例---爬取王者荣耀英雄与技能介绍 python爬虫------王者荣耀英雄及技能爬取并保存信息到excelhttps://blog.csdn.net/knighthood200 ...
python爬取饿了么评论_爬取饿了么官网数据 scrapy
展开全部 Scrapy框架的初步运用上午刚配置好scrapy框架,32313133353236313431303231363533e58685e5aeb931333363393734下午我就迫不及待 ...
爬取中国福彩网并做可视化分析
一.问题: 利用python的matplotlib和requestss两个库对中奖号码进行可视化分析.经过分析可以知道中奖号码为红色和蓝色两种,数据是以json进行存储. 二.方法: 1.首先:mat ...
python爬取率_[新手]python爬虫爬取中证指数官网数据
想用python爬虫获取中证指数官网上的几个主要指数的每日估值更新,但是下载下来的页面内容却没有想要的数据.想要的数据前面有个JavaScript标签,是不是光靠python没办法获取这个数据?求大神 ...
python爬取javascript变量数据_javascript - [新手]python爬虫爬取中证指数官网数据
问题想用python爬虫获取中证指数官网上的几个主要指数的每日估值更新,但是下载下来的页面内容却没有想要的数据.想要的数据前面有个JavaScript标签,是不是光靠python没办法获取这个数据 ...
scrapy-redis案例（一）爬取中国红娘相亲网站
前言:本案例将分为三篇. 第一篇,使用scrapy框架来实现爬取中国红娘相亲网站. 第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站.(使用redis存储数据,请求具有持续性,但不 ...
scrapy-redis案例（三）爬取中国红娘相亲网站
前言:本案例将分为三篇. 第一篇,使用scrapy框架来实现爬取中国红娘相亲网站. 第二篇,使用scrapy-redis 简单的方式爬取中国红娘相亲网站.(使用redis存储数据,请求具有持续性,但不 ...

用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据

2019.6.11更新

网址

环境

干货

End

用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据相关推荐

最新文章

热门文章

用requests和pandas爬取中国福彩网官网 双色球 历年全部彩票数据

2019.6.11更新

网址

环境

干货

End

用requests和pandas爬取中国福彩网官网 双色球 历年全部彩票数据相关推荐

最新文章

热门文章

用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据

用requests和pandas爬取中国福彩网官网双色球历年全部彩票数据相关推荐