爬虫四步曲大神一步一步来教你,使用python抓取网页数据并储存
爬虫是Python
的一个重要的应用,使用Python
爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站
视频热搜榜单数据并存储为例,详细介绍Python
爬虫的基本流程。如果你还在入门爬虫阶段或者不清楚爬虫的具体工作流程,那么应该仔细阅读本文!
第一步:尝试请求
首先进入b站
首页,点击排行榜并复制链接
https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3
现在启动Jupyter notebook
,并运行以下代码
import requestsurl = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
res = requests.get('url')
print(res.status_code)
#200
在上面的代码中,我们完成了下面三件事
(1),导入requests
(2),使用get
方法构造请求
(3),使用status_code
获取网页状态码
可以看到返回值是200
,表示服务器正常响应,这意味着我们可以继续进行。
码字不易废话两句:有需要学习资料的或者有技术问题交流 “点击” 即可
第二步:解析页面
在上一步我们通过requests
向网站请求数据后,成功得到一个包含服务器资源的Response
对象,现在我们可以使用.text
来查看其内容
可以看到返回一个字符串,里面有我们需要的热榜视频数据,但是直接从字符串中提取内容是比较复杂且低效的,因此我们需要对其进行解析,将字符串转换为网页结构化数据,这样可以很方便地查找HTML
标签以及其中的属性和内容。
在Python
中解析网页的方法有很多,可以使用正则表达式,也可以使用BeautifulSoup
、pyquery
或lxml
,本文将基于BeautifulSoup
进行讲解.
Beautiful Soup
是一个可以从HTML
或XML
文件中提取数据的第三方库.安装也很简单,使用pip install bs4
安装即可,下面让我们用一个简单的例子说明它是怎样工作的
from bs4 import BeautifulSoup
from bs4 import BeautifulSouppage = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
title = soup.title.text
print(title)
# 热门视频排行榜 - 哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
在上面的代码中,我们通过bs4
中的BeautifulSou
类将上一步得到的html
格式字符串转换为一个BeautifulSoup
对象,注意在使用时需要制定一个解析器,这里使用的是html.parser
。
接着就可以获取其中的某个结构化元素及其属性,比如使用soup.title.text
获取页面标题,同样可以使用soup.body、soup.p
等获取任意需要的元素。
第三步:提取内容
在上面两步中,我们分别使用requests
向网页请求数据并使用bs4
解析页面,现在来到最关键的步骤:如何从解析完的页面中提取需要的内容
。
在Beautiful Soup
中,我们可以使用find/find_all
来定位元素,但我更习惯使用CSS
选择器.select
,因为可以像使用CSS
选择元素一样向下访问DOM
树。
现在我们用代码讲解如何从解析完的页面中提取B站热榜的数据,首先我们需要找到存储数据的标签,在榜单页面按下F12
并按照下图指示找到
可以看到每一个视频信息都被包在class="rank-item"
的li
标签下,那么代码就可以这样写:
all_products = []products = soup.select('li.rank-item')
for product in products:rank = product.select('div.num')[0].textname = product.select('div.info > a')[0].text.strip()play = product.select('span.data-box')[0].textcomment = product.select('span.data-box')[1].textup = product.select('span.data-box')[2].texturl = product.select('div.info > a')[0].attrs['href']all_products.append({"视频排名":rank,"视频名": name,"播放量": play,"弹幕量": comment,"up主": up,"视频链接": url})
在上面的代码中,我们先使用soup.select('li.rank-item')
,此时返回一个list
包含每一个视频信息,接着遍历每一个视频信息,依旧使用CSS
选择器来提取我们要的字段信息,并以字典的形式存储在开头定义好的空列表中。
可以注意到我用了多种选择方法提取去元素,这也是select
方法的灵活之处,感兴趣的读者可以进一步自行研究。
第四步:存储数据
通过前面三步,我们成功的使用requests+bs4
从网站中提取出需要的数据,最后只需要将数据写入Excel
中保存即可。
如果你对pandas
不熟悉的话,可以使用csv
模块写入,需要注意的是设置好编码encoding='utf-8-sig'
,否则会出现中文乱码的问题
import csv
keys = all_products[0].keys()with open('B站视频热榜TOP100.csv', 'w', newline='', encoding='utf-8-sig') as output_file:dict_writer = csv.DictWriter(output_file, keys)dict_writer.writeheader()dict_writer.writerows(all_products)
如果你熟悉pandas
的话,更是可以轻松将字典转换为DataFrame
,一行代码即可完成
import pandas as pd
keys = all_products[0].keys()pd.DataFrame(all_products,columns=keys).to_csv('B站视频热榜TOP100.csv', encoding='utf-8-sig')
小结
至此我们就成功使用Python
将b站
热门视频榜单数据存储至本地,大多数基于requests
的爬虫基本都按照上面四步进行。
不过虽然看上去简单,但是在真实场景中每一步都没有那么轻松,从请求数据开始目标网站就有多种形式的反爬、加密,到后面解析、提取甚至存储数据都有很多需要进一步探索、学习。
本文选择B站
视频热榜也正是因为它足够简单,希望通过这个案例让大家明白爬虫的基本流程,最后附上完整代码
import requests
from bs4 import BeautifulSoup
import csv
import pandas as pdurl = 'https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3'
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')all_products = []products = soup.select('li.rank-item')
for product in products:rank = product.select('div.num')[0].textname = product.select('div.info > a')[0].text.strip()play = product.select('span.data-box')[0].textcomment = product.select('span.data-box')[1].textup = product.select('span.data-box')[2].texturl = product.select('div.info > a')[0].attrs['href']all_products.append({"视频排名":rank,"视频名": name,"播放量": play,"弹幕量": comment,"up主": up,"视频链接": url})keys = all_products[0].keys()with open('B站视频热榜TOP100.csv', 'w', newline='', encoding='utf-8-sig') as output_file:dict_writer = csv.DictWriter(output_file, keys)dict_writer.writeheader()dict_writer.writerows(all_products)### 使用pandas写入数据
pd.DataFrame(all_products,columns=keys).to_csv('B站视频热榜TOP100.csv', encoding='utf-8-
以上就是小编今天为大家带来的内容,小编本身就是一名python开发工程师,我自己花了三天时间整理了一套python学习教程,从最基础的python脚本到web开发,爬虫,数据分析,数据可视化,机器学习,等,这些资料有想要的小伙伴 " 点击 " 即可领取
爬虫四步曲大神一步一步来教你,使用python抓取网页数据并储存相关推荐
- python抓取内存中的网页_『爬虫四步走』手把手教你使用Python抓取并存储网页数据!...
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
- vs2015编写python爬虫_使用Python抓取网页数据(一)
iOS python 爬虫 LoL 学习iOS开发有一段时间了,最近想做一个自己的App玩玩,自己比较喜欢玩LOL,所以想试着做一个LOL资料库的App,那么问题来了,这么多英雄,物品等数据怎么获取呢 ...
- 以下用于数据存储领域的python第三方库是-『爬虫四步走』手把手教你使用Python抓取并存储网页数据!...
第一步:尝试请求 首先进入b站首页,点击排行榜并复制链接 https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950 ...
- 『爬虫四步走』手把手教你使用Python抓取并存储网页数据!
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
- java使用xml存储数据_『爬虫四步走』手把手教你使用Python抓取并存储网页数据!
菜鸟学Python 以下文章来源于早起Python ,作者刘早起 爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据 ...
- java使用xml存储数据_「爬虫四步走」手把手教你使用Python抓取并存储网页数据
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
- 『爬虫四步走』手把手教你使用 Python 抓取并存储网页数据!
爬虫是 Python 的一个重要的应用,使用 Python 爬虫我们可以轻松的从互联网中抓取我们想要的数据 本文将基于爬取 B 站视频热搜榜单数据并存储为例,详细介绍 Python 爬虫的基本流程. ...
- python抓取pc端数据_「爬虫四步走」手把手教你使用Python抓取并存储网页数据!...
爬虫是Python的一个重要的应用,使用Python爬虫我们可以轻松的从互联网中抓取我们想要的数据,本文将基于爬取B站视频热搜榜单数据并存储为例,详细介绍Python爬虫的基本流程.如果你还在入门爬虫 ...
- python抓取网页数据并截图_网络爬虫-使用Python抓取网页数据
搬自大神boyXiong的干货! 闲来无事,看看了Python,发现这东西挺爽的,废话少说,就是干 准备搭建环境 因为是MAC电脑,所以自动安装了Python 2.7的版本 添加一个 库 Beauti ...
最新文章
- Three.js之渲染器
- solr开发,提交索引数据的几种方式
- 《YOLO算法笔记》(草稿)
- 90%做tiktok运营都存在的误区?
- qt布局调用自定义函数_QT 自定义函数 自定义信号和槽
- 《Linux编程》上机作业 ·002【Linux常用工具GCC、GDB、Make】
- 20190915:(leetcode习题)对称二叉树
- C++之String的find方法,查找一个字符串在另一个字符串的什么位置;leveldb字符串转数字解析办法...
- 拼接Sql语句的写法
- ASP.NET 中的 SQL Server 应用服务数据库角色和视图
- C# 处理图像三种方法对比
- Atitit gc 垃圾回收原理与概论and 自动资源管理的艺术 v2 1. 为什么需要gc	1 1.1. 如果长期不被释放,可能导致OOM。	1 1.2. ,目的在于防止由程序猿引入的人为的内存
- plsql使用很卡的情况
- android系统设置默认字体,如何获取Android设备的默认字体?
- gensim w2v 使用记录
- windows7旗舰版下载出现蓝屏代码50怎么办?
- 小程序源码:图片秒加水印制作生成-多玩法安装简单
- 和Leo一起做爱线段树的好孩子HDU5238 Calculator
- 高斯消去法的python实现
- C/C++实现文件加密器
热门文章
- linux之打包压缩(tar,gz,bz2,xz,zip)
- windows 环境下,编译android 版opencv-4.5.5,并添加opencv_contrib-4.5.5 扩展模块
- 如何做一个营销策划案前期
- [转]解剖PetShop
- 推荐一个GitHub上牛b的Java学习项目已整理成了文档版本
- c++编程题 袋鼠过河
- ubuntu ssh Host key verification failed,Host 10.xxx.xxx.xxx not found in /home/user/.ssh/known_hosts
- 路由懒加载的三种写法
- ld: cannot find -lxxx终极解决方法
- 高德坐标系转天地图坐标系(GCJ02转WGS坐标系)