应用Python爬虫技术获取福彩历史数据

大鸟哥平时研究彩票随机数据，肯定需要有历史数据作为支撑，那么如何获取历史数据呢？这里就应用了Python的爬虫技术，可以从一些允许的网站爬取历年来的双色球、3D等各种彩票的开奖信息，然后转化成为想要的表格形式存入Excel表格中。

下面就分享一下大鸟哥获取历年福彩3D 数据的程序代码：

# -*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup
import csv
import time
import os# csv文件名
CSV_FILE_NAME = "cjcp.csv"
# csv标题
CSV_TITLE = ["期号", "试机号", "奖号"]def main():print("采集开始")save_datas([CSV_TITLE])for year in range(2021, 2022):lst_year_datas = []start_qi = "%d001" % yearend_qi = "%d999" % yearurl = "https://zst.cjcp.com.cn/cjw3d/view/3d_danxuan.html"param = {"startqi": start_qi, "endqi": end_qi, "searchType": "9"}soup = get_soup(url, param)tbody = soup.find("tbody", id="pagedata")if tbody:lst_tr = tbody.find_all("tr")if lst_tr:for tr in lst_tr:lst_td = tr.find_all("td")if not lst_td or len(lst_td) < 4:continuelst_data = [td.get_text(strip=True) for td in lst_td[1:4]]print(lst_data)lst_year_datas.append(lst_data)save_datas(lst_year_datas)def get_soup(url, param):"""进行网络请求:param url::param param::return: 返回响应文本bs4对象"""if not url:returntry:# 停顿5秒time.sleep(5)# 发起Get请求页面response = requests.post(url, data=param, timeout=10, headers={"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9","Content-Type": "application/x-www-form-urlencoded","Host": "zst.cjcp.com.cn","Origin": "https://zst.cjcp.com.cn","Referer": "https://zst.cjcp.com.cn/cjw3d/view/3d_danxuan.html","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"})if response.status_code != 200:return# raise Exception("网络异常，正在重新请求")# 设置编码格式response.encoding = "gbk"# 获取页面源代码text = response.textreturn BeautifulSoup(text, "html.parser")except Exception as e:# 出现异常，可能是网络中断或出现反爬，休息2秒再重新继续这一页print(e)return get_soup(url, param)def save_datas(lst_data):"""保存数据:param lst_data::return:"""if not lst_data:return# lst_data是一个二维列表with open(CSV_FILE_NAME, "a", encoding="utf-8-sig", newline="") as file:csv_writer = csv.writer(file)csv_writer.writerows(lst_data)# 程序入口
if __name__ == '__main__':main()

上面的代码需要你有一定的Python爬虫知识才能理解，否则，一两句话不可能让你明白，在这里不做详细讲解了，感兴趣的小伙伴可以私信联系大鸟哥，大鸟哥也做数据分析和咨询，当然也可以找大鸟哥来直接购买彩票数据和独家研究攻略。有基础的小伙伴可以直接把代码复制过去改改就能用，希望这篇小文章对你有帮助，好用的话别忘了回来帮大鸟哥转发、关注和点赞。心情好的话可以给大鸟哥打赏哦！

应用Python爬虫技术获取福彩历史数据相关推荐

Python+爬虫技术获取斗鱼直播图片（整理）
核心内容: 1.爬虫的基本原理 2.利用Python爬取数据的方法(使用urllib爬取数据) 3.从斗鱼直播平台爬取图片最近因为工作的原因,要利用爬虫的相关技术,获取html网页相关的数据,特意总 ...
利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分
想法来源:虎扑体育app中有个游戏叫做"每日范特西",此游戏给于NBA每位球员一个与他能力(数据)相符的身价,玩家的任务是给定金额120,根据每位球员的身价以及位置组建一个自己的阵 ...
python龙虎榜数据_【爬虫】使用爬虫技术获取盘后龙虎榜
原文来自:MindGo量化社区-[爬虫]使用爬虫技术获取盘后龙虎榜 [导语]本文是"爬虫"系列文章的第一篇.爬虫技术被广泛用于搜索引擎.数据采集等重要领域.搜索引擎提供海量搜索结果 ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
基于python爬虫技术的应用_基于Python爬虫技术的应用
办公自动化杂志一.引言本文主要是对 Python 爬虫技术进行阐述,基于 python 的爬虫与其他语言相比的有很多优势.通过爬去某个网站的所有新闻这个案例,来进一步阐释 Python 爬虫技术的 ...
如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
[B站视频]Python爬虫技术5天速成
[B站视频]Python爬虫技术5天速成课程介绍 1.Python基础概述课堂作业1:IF语句实现石头剪子布课堂作业2:用For和While循环打印九九乘法表字符串常见操作(只介绍部分常用到的 ...
Python爬虫技术系列-06requests完成yz网数据采集V01
Python爬虫技术系列-06requests完成yz网数据采集V01 1.yz网数据爬取概述 2. 案例实现 2.1 模拟登录页面分析 2.2 模拟登录实现 2.3 构建待爬取的药材名称 2.4 药 ...
python爬虫技术如何挣钱？教你爬虫月入三万
爬虫技术挣钱方法1:接外包爬虫项目这是网络爬虫最通常的的挣钱方式,通过外包网站,熟人关系接一个个中小规模的爬虫项目,一般向甲方提供数据抓取,数据结构化,数据清洗等服务. python爬虫技术如何挣钱 ...

应用Python爬虫技术获取福彩历史数据

应用Python爬虫技术获取福彩历史数据相关推荐

最新文章

热门文章