python 爬取数据(CBA所有球队数据) -爬虫

获取CBA官网各个球队的相关信息。

import requests
from bs4 import BeautifulSoup
import csv
name=[]
defen=[]
lanban=[]
zugong=[]
gaimao=[]
qiangduan=[]
shiwu=[]
fangui=[]
list1=[]
data=[]
def fun(url):def getHMLText(url):try:headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36 QIHU 360SE'}r=requests.get(url,timeout=30,headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept Exception as e:print("产生的异常是",e)  #e.status_code 状态码html=getHMLText(url)for i in range(4,24,2):list1.append(BeautifulSoup(html,"html.parser").find_all("div",class_='bbgg')[0].table.select("td")[i].text)name.append( BeautifulSoup(html,"html.parser").find_all("div",class_='content-box')[0].select("span")[0].text )defen.append(list1[0])lanban.append(list1[3])zugong.append(list1[4])gaimao.append(list1[5])qiangduan.append(list1[6])shiwu.append(list1[7])fangui.append(list1[8])for i in [10728,10273,10722,10724,10727,10721,10730,10729,10361,11072,11380,10731,10725,10734,10726,10326,10360,10793,10732]:url='https://www.leisu.com/data/lanqiu/team-'+str(i)for i in  range(len(name)):data.append([name[i],defen[i],lanban[i],zugong[i],gaimao[i],qiangduan[i],shiwu[i],fangui[i]])
def saveListCSV(fileName,aList):#生成表格try:with open(fileName,'w',newline='')as fp:writer = csv.writer(fp)writer.writerow(["球队名字", "场均得分","场均篮板","场均助攻","场均盖帽","场均抢断","场均失误","场均犯规"])for item in aList:writer.writerow(item)print('{0}保存成功!共{1}条记录'.format(fileName,len(aList)))except IOError as err:print(fileName,'文件创建错误:',err)
saveListCSV('CBA_data.csv',dt)

python 爬取数据(CBA所有球队数据) -爬虫相关推荐

练习：使用Python爬取COVID-19疫情国内当日数据
练习:使用Python爬取COVID-19疫情国内当日数据推荐公众号:数据酷客 (里面有超详细的教程) 代码来源数据酷客公众号教程 URL它是Uniform Resource Locator的缩写, ...
python爬取股票信息_利用Python爬取网易上证所有股票数据（代码
利用Python爬取网易上证所有股票数据(代码发布时间:2018-04-14 17:30, 浏览次数:1261 , 标签: Python import urllib.request import r ...
如何使用python编程抢京东优惠券知乎_学好Python爬取京东知乎价值数据
原标题:学好Python爬取京东知乎价值数据 Python爬虫为什么受欢迎如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这 ...
python如何爬取实时人流量_使用python爬取微信宜出行人流量数据
代码地址:https://liujiao111.github.io/2019/06/18/easygo/ 工具介绍: 该工具基于微信中的宜出行提供的数据接口进行爬取,能够爬取一定范围内的当前时间点的人 ...
使用python爬取BOSS直聘岗位数据并做可视化（Boss直聘对网页做了一些修改，现在的代码已经不能用了）
使用python爬取BOSS直聘岗位数据并做可视化结果展示首页岗位信息岗位详情薪资表学历需求公司排名岗位关键词福利关键词代码展示爬虫代码一.导入库二.爬取数据 1.爬取数据代 ...
python爬取火车票网的时刻表数据
python爬取火车票网的时刻表数据导包 import re,requests,datetime,time,json from prettytable import PrettyTable from ...
通过爬取天猫商品评论实例分析Python爬取ajax动态生成的数据
本文主要通过爬取天猫商品kindle的评论为例来说明利用python爬取ajax动态生成的数据的方式,本文使用的工具如下: 工具 chrome浏览器[寻找评论的动态链接] python3.5[执行代码 ...
python 爬取自如租房的租房数据，使用图像识别获取价格信息
python 爬取自如租房的租房数据完整代码下载:https://github.com/tanjunchen/SpiderProject/tree/master/ziru #!/usr/bin/py ...
使用Python爬取51job招聘网的数据
使用Python爬取51job招聘网的数据进行网站分析获取职位信息存储信息最终代码进行网站分析进入https://www.51job.com/这个网站我在这就以python为例搜索职位跳 ...
你的城市撒币了吗？Python 爬取分析全国消费券发放数据
作者 | 刘早起来源 | 早起Python(ID: zaoqi-python) 近期,全国多地以各种形式投放消费券.消费补贴来鼓励消费,部分城市在首期消费券的基础上,连续追加发放多期消费券.你在的城 ...

python 爬取数据(CBA所有球队数据) -爬虫

python 爬取数据(CBA所有球队数据) -爬虫相关推荐

最新文章

热门文章