NBA数据爬取及存取

凯文杜兰特2020-2021赛季截至2021.1.18前10场数据

from urllib import request
import jsondef fetch_data(url):req = request.Request(url)  # 请求url（GET请求）with request.urlopen(req) as f:     # 打开url请求（如同打开本地文件一样）return json.loads(f.read().decode('utf-8'))  # 读数据 并编码同时利用json.loads将json格式数据转换为python对象# 测试
URL = 'https://data.zhibo8.cc/manage/public/app.php?_url=/nba_v2_player/player&random=0.13216511047375334&playerId=83212'
data = fetch_data(URL)
# 将 Python 字典类型转换为 JSON 对象
json_str = json.dumps(data['data'])
print(json_str)  # 结果 {"name": "pengjunlee", "age": 32, "vip": true, "address": {"province": "GuangDong", "city": "ShenZhen"}}# 将 JSON 对象类型转换为 Python 字典
user_dic = json.loads(json_str)['seasonGames']
print(user_dic['items'])  # 结果 {'province': 'GuangDong', 'city': 'ShenZhen'}
print(user_dic['list'])m=len(user_dic['items'])with open('KDdata.csv', 'w', encoding='utf8') as f:for col in user_dic['items']:print(col)m-=1if m==0:f.write(col + '')else:f.write(col + ',')f.write('\n')for dic in user_dic['list']:# print(dic)n = len(dic)for key ,values in dic.items():# print(key+" "+values)n -= 1if n == 0:f.write(values + '')else:f.write(values + ',')f.write('\n')

NBA数据爬取及存取相关推荐

Python爬虫：用BeautifulSoup进行NBA数据爬取
爬虫主要就是要过滤掉网页中没用的信息.抓取网页中实用的信息一般的爬虫架构为: 在python爬虫之前先要对网页的结构知识有一定的了解.如网页的标签,网页的语言等知识,推荐去W3School: W3s ...
python数据爬取---爬取文本数据并进行特征提取_python 域名提取
初识Scrapy 为什么使用Scrapy? 我们可以用requests和beautifulsoup完成一个实用的爬虫,但如果想大规模爬取的话,我们需要学习Scrapy这个优秀Python框架,学习它的 ...
python爬虫网络数据包_Python爬虫之多线程图虫网数据爬取（十六）
Python爬虫之多线程图虫网数据爬取(十六) 发布时间:2019-05-14 10:11, 浏览次数:289 , 标签: Python 原创不易,转载前请注明博主的链接地址:Blessy_Zhu h ...
如何用python可视化疫情风险区？地图标记位置信息：数据爬取+地址解析+可视化
*本文仅就相关技术细节进行学术交流,请勿用作他途* 如何获取网页中发布的位置信息,在地图上进行标记可视化? Step 1: 数据获取 Step2: 地址解析 Step3: 地图可视化地址编码后的数据 ...
虎扑球员数据爬取+球员能力分布雷达图
虎扑数据爬取+球员能力分布雷达图学了一阵子python后,心痒痒想爬个网站试试,但得找个自己感兴趣的啊,那必然是篮球了.想了想平时看篮球的也就腾讯和虎扑,细心的jrs可能会发现腾讯体育点进球员个人主 ...
网络爬虫分析实例:基于音悦台网站榜单的数据爬取与分析
基于音悦台网站榜单的数据爬取与分析本实验代码:进入一.研究背景在互联网发展初期,网站相对较少,信息查找比较容易.然而伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,这时为满 ...
数据爬取到可视化分析
文章目录一.数据爬取 1.python简介 2.什么是网路爬虫 3.网页解析 4.数据爬取流程二.数据清洗 1.数据格式统一处理 2.信息标题特殊字符处理三.数据分析以及可视化 1.什么是pan ...
python爬虫的一次尝试——华北电力大学图书馆读者荐购系统：基于python爬虫的web数据爬取
华北电力大学图书馆读者荐购系统数据爬取前言本章工具网页分析 1.荐购数据 2.书目具体信息代码部分 1. 荐购数据爬取 2. 完整书目信息爬取前言本学期数据仓库与数据挖掘课程大作业是编程实 ...
搜狗·疫情数据爬取（Python）
上周已经分享过搜狗·疫情数据爬取(R语言),这次分享一下搜狗·疫情数据爬取(Python) 不说废话,直接上代码.有什么问题,可以在留言区讨论. from urllib import request ...
python手机端下载-Python3,x：如何进行手机APP的数据爬取
Python3,x:如何进行手机APP的数据爬取一.简介平时我们的爬虫多是针对网页的,但是随着手机端APP应用数量的增多,相应的爬取需求也就越来越多,因此手机端APP的数据爬取对于一名爬虫工程师来 ...

NBA数据爬取及存取

NBA数据爬取及存取相关推荐

最新文章

热门文章