Pandas数据分析实战案例之青春有你2

看前须知：如果有需要借鉴的地方的话，可以把 导出数据 和 下载图片 的地址改掉。除此以外，可能定义函数的时候里面的 获取资料地址有误 ，会显示404，在文章末尾处会附上相应解决方法。

任务：

获取参加鹅厂比赛小姐姐的姓名
获取小姐姐们的头像图片

代码如下：

1. 导入所需库

# 导入库
import pandas as pd
import requests
import json

2. 接下来是定义从爱奇艺平台获取信息的一个函数：

def get_aqiyi_infos():"""获取资料地址：http://www.iqiyi.com/h5act/generalVotePlat.html?activityId=373"""# 获取urlurl = "https://vote.iqiyi.com/vote-api/r/getMergeVoteInfo?voteIds=0896558730010825&sourceId=1&uid=&sign=7461535834340ff3861fc4e1bf73cbaf"# 添加headersheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}# 发起请求response = requests.get(url, headers=headers)# 解析请求--解析成字典json_data = json.loads(response.text)# 提取选手信息——使用字典索引的方式player_infos = json_data['data']['0896558730010825']['childs'][0]['options']# 提取信息——利用for循环rank_num = []names = []images = []for i, j in enumerate(player_infos):rank_num.append(i+1)names.append(j.get('text'))# images.append(j.get('picURL'))images.append(j.get('picUrl'))# 保存信息df = pd.DataFrame({'rank_num': rank_num,'names': names,'images': images})return df

获取请求头和获取url 的方法在文末位置。

3. 接下来可以下运行一下函数：

# 运行函数
df = get_aqiyi_infos()

4. 导出数据

# 导出数据
df.to_csv('E:/学习文件/Python数据分析/爱奇艺选手信息.csv', index=False)

5. 下载图片

# 下载图片
for name, image in zip(df['names'], df['images']):#请求图片urlheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}r = requests.get(image, headers=headers)# 创建新的图片f = open('E:/学习文件/Python数据分析/青春有你2photo/{}.png'.format(name), 'wb')# 写入图片内容f.write(r.content)# 关闭f.close()

发现问题：

1. 在存档的文件中并没有图片信息

2. 运行后报错

MissingSchema: Invalid URL 'None': No schema supplied. Perhaps you meant http://None?

解决问题：

这个其实也是由于自己的粗忽大意造成的

首先，出错的位置如下图所示
我们要提取的地方如下图所示
总结应该是picUrl，而不是picURL。

获取资料地址方法

在浏览器搜索爱奇艺，进入官方平台后，搜索青春有你2可以进入如下页面，注意右下角的二维码
将二维码图片另存为随便位置即可
在浏览器上输入网址http://cli.im/deqr
将保存的二维码图片拖入即可生成网址静态码

请求头获取方法

打开网页——开发者工具——右键检查——导航栏处点击Network——CTRL+R进行刷新
一般是点击XHR，按照下图找到请求头

url获取方法

与上述获取请求头的方法一致，如下图所示

Pandas数据分析实战案例之青春有你2（获取人物名称与头像）相关推荐

Pandas数据分析实战01--Abalone Data Set（鲍鱼数据集）
Pandas数据分析实战01 1. 数据描述 2. 数据读取 3. 数据呈现 4. 数据分析打算从基础开始学习数据分析,给自己一个整理内容和学习消化的时间,所以,这也将成为我的学习笔记. 1. 数据 ...
python朋友圈点赞统计_Python数据分析实战案例：统计分析微信朋友圈数据（附实操视频）...
原标题:Python数据分析实战案例:统计分析微信朋友圈数据(附实操视频) 本文内容将通过一个具体实例讲解将朋友圈数据导出为JSON文件的方法,并介绍使用Python统计分析JSON数据的过程. 注: ...
pandas数据分析实战之apply函数应用
使用apply函数与字符匹配进行数据分析 1.apply函数使用 2.字符串匹配 3.数据分析实战 1.apply函数使用 DataFrame.apply(self, func, axis=0, ra ...
Pandas数据分析28——案例-销售额同期比分析、爬取各国新冠死亡人数等
参考书目:<深入浅出Pandas:利用Python进行数据处理与分析> pandas里面各个模块基本都展示得差不多了,后面就是使用pandas进行数据分析的案例.由于pandas的处理都是 ...
20 个 Pandas 数据实战案例，干货多多
作者 | 俊欣来源 | 关于数据分析与可视化今天我们讲一下pandas当中的数据过滤内容,小编之前也写过也一篇相类似的文章,但是是基于文本数据的过滤,大家有兴趣也可以去查阅一下. 下面小编会给出大 ...
python数据分析实战案例-Python数据分析案例实战
原标题:Python数据分析案例实战至今我们网站已经开设了多个数据分析系列的课程,大部分都是基于算法思路来开展的,课程中着重点在于算法的讲授.软件的使用,案例只是辅助学习.然而很多学员反映,希望可以 ...
数据分析实战案例：手把手教你用 Python 分析千万级淘宝数据
1.项目背景与分析说明 1)项目背景网购已经成为人们生活不可或缺的一部分,本次项目基于淘宝app平台数据,通过相关指标对用户行为进行分析,从而探索用户相关行为模式. 2)数据和字段说明本文使用的数 ...
Python 数据分析实战案例：基于电商销售数据的 RFM 模型构建
目录 1.背景 2.分析目标 3.数据准备 4.数据清洗 4.1 查看是否含有缺失值 4.2 查看是否有异常值 4.3 数据整理 5.具体目标分析 5.1 分析每年销售额的增长率 5.2 各个地区分店 ...
Python 数据分析实战案例：京东用户行为分析
1.项目背景项目对京东电商运营数据集进行指标分析以了解用户购物行为特征,为运营决策提供支持建议.本文采用了MySQL和Python两种代码进行指标计算以适应不同的数据分析开发环境. 2.数据集介绍 ...

Pandas数据分析实战案例之青春有你2（获取人物名称与头像）

Pandas数据分析实战案例之青春有你2

任务：

代码如下：

1. 导入所需库

2. 接下来是定义从爱奇艺平台获取信息的一个函数：

3. 接下来可以下运行一下函数：

4. 导出数据

5. 下载图片

发现问题：

1. 在存档的文件中并没有图片信息

2. 运行后报错

解决问题：

获取资料地址方法

请求头获取方法

url获取方法

Pandas数据分析实战案例之青春有你2（获取人物名称与头像）相关推荐

最新文章

热门文章