重要提示：

知乎的Markdown功能支持非常不友好，因此建议跳转到简书或者CSDN进行阅读

一：爬虫认知

爬虫名称由来于蜘蛛结网，蜘蛛在一个一个的蛛网节点中等待猎物的到来。而我们的爬虫也是从网页页面的HTML资源中取出我们要的节点资源。二者过程相似，因此爬虫称之为Spider。

1.1 爬虫的前置知识

知道双标签的HTML结构，知道网页或者抓包工具如何查看资源，了解css和js更佳。如果零基础也没有关系，接下来的案例讲解中会穿插到有相关的知识。

1.2 准备工具

安装有python3，以及requests、lxml、beautifulsoup4、selenium、scripy三方包。

二：爬虫基础

2.1 基本套路基本流程

目标数据是什么，你要爬取什么数据？

来源地址在哪，你从什么地方爬取数据？

你要的数据放在那些HTML结构里面？

你采用那种方式进行数据提取？xpath、css选择、beautifulsoup提取、re正则提取？

基本手段

破解请求限制请求头设置，模拟设置请求头

控制请求频率(根据实际情景)，控制爬虫休眠(防止DNS攻击目标网站)

IP代理(防止反爬手段封你的IP)

签名/加密参数从html/cookie/js分析(网站要求验证信息)

破解登录授权请求带上用户cookie信息破解验证码简单的验证码可以使用识图读验证码第三方库(自己训练验证码算法或者付费实现)

解析数据

xpath、css选择、beautifulsoup提取、re正则提取？

2.2 一个简单爬虫

~~~python import requests # 导入三方包 requests

response = requests.get(url=url) # 利用requests包进行请求访问 print(response.status_code) # 返回请求状态码，200代表访问成功，可以直接答应response查看一下整体效果 ~~~

对比之后我们发现，两者的网页并不一样，莫着急，上面的简单爬虫只是想要说明在python中爬虫代码有多么容易，短短三行代码就可以构建一个爬虫。真正运用的爬虫可以参考上诉构造方式添加参数构建。

2.3 一些简单参数的添加

2.3.1 爬虫响应信息

| 代码 | 含义 | | ------------------------ | ---------------------------- | | response.json() | 获取响应内容(以json字符串) | | response.text | 获取响应内容 (以字符串) | | response.content | 获取响应内容(以字节的方式) | | response.headers | 获取响应头内容 | | response.url | 获取访问地址 | | response.encoding | 获取网页编码 | | response.request.headers | 请求头内容 | | response.cookie | 获取cookie |

2.3.2 构造header

现如今网站的反爬手段非常多，除了一部分网站不做反爬措施以外，大部分都做了反爬。因此，我们就需要为我们的爬虫来添加各种参数，使得网站认为这是一个用户在浏览内容，而不是一个爬虫在进行内容爬取。当然，现如今随着法律的健全，爬虫也需要注意不要去爬取违法资源。可以参考网站的/robots.txt，看有哪些内容是不允许爬取的。这个还是要看一下的，否则牢狱之灾也不是说着玩的。 ~~~python 网页地址/robots.txt ~~~

好了，那么我们接下来构造我们的第一个参数，header。

我们为什么要设置header这个参数呢？header是我们的浏览器在浏览时提交给网站服务器关于自身浏览器的信息，而我们使用python作为爬虫的时候，给出的header是python，而这样会导致网站服务器直接认出我们是一个爬虫。直接不返回数据，或者返回错误数据。因此，header是我们爬虫要设置的第一个参数。

header的数据可以通过在浏览器查看自己的header。我们一般添加User-Agent信息。

另外，也可以通过三方包fake-useragent进行实例化User-Agent，不过国内可能无法得到fake-useragent的实例化对象，可以在网上找找。或者参考以下文章：https://blog.csdn.net/jiduochou963/article/details/90383692

ok，我们设置了第一个参数headers之后，可以尝试着爬取一小部分的信息了，我们使用如下网站：开心一刻笑话：http://xiaodiaodaya.cn/article/view.aspx?id=7436 ~~~python import requests from fake_useragent import UserAgent

url = 'http://xiaodiaodaya.cn/article/view.aspx?id=7436' # 请求网址 headers = {'User-Agent': UserAgent().random} # 设置header参数

response = requests.get(url, headers=headers) # 发送请求并将接收到的数据作为response response.encoding = 'utf-8' # 设置返回数据的编码为utf-8可以查看中文 print(response.text) # 打印输出text内容 ~~~

~~~python import requests from fake_useragent import UserAgent

url = 'http://xiaohua.zol.com.cn' headers = {'User-Agent': UserAgent().random}

response = requests.get(url, headers=headers) response.encoding = 'gbk' print(response.text) ~~~

2.3.3 设置爬取时间间隔

当我们使用爬虫爬取网站时，如果不设置爬虫间隔时间，可能会导致短时间内大量访问网站，导致网站服务器崩溃，或者被网站服务器检测到异常直接封掉IP。因此，为了减少爬取的次数，我们可以设置一次爬虫的间隔时间，可以使用time这个自带的包，设置sleep()休眠时间。如此，就可以杜绝短时的大量访问情况了。 ~~~python import requests from fake_useragent import UserAgent from time import sleep

url = 'http://xiaohua.zol.com.cn' headers = {'User-Agent': UserAgent().random}

response = requests.get(url, headers=headers) response.encoding = 'gbk' print(response.text) sleep(2) ~~~ 一般而言，需要时间间隔的爬虫，都有较大数目的循环爬取，而我们上方的代码实际上只爬取了一次，因此可以不用时间间隔。我目前也没有什么要大量爬取的数据，所以就写了一下如何进行设置，而不是完全的演示。

2.3.4 代理IP

我们注意到了构建一个健康的爬虫，并且也设置了header和时间间隔。然而，有可能网站的服务器反爬算法还是监测到了我们的爬虫程序。虽然一般来说不会出现封IP的现象，但是不可否认的是可能会出现封IP的情况。所以，我们可以通过设置代理IP的方式进行访问。 ~~~python import requests from fake_useragent import UserAgent

url = 'http://httpbin.org/get' headers = {'User-Agent': UserAgent().random} proxies = { "http": "http://140.246.30.24:3828" }

response = requests.get(url, headers=headers, proxies=proxies, stream=True) response.encoding = 'utf-8' print(response.raw._connection.sock.getpeername()[0]) ~~~

如果是你购买的的ip的话，输入ip的时候就需要输入你的用户名和密码。另外，代理为百度而来，所以可能已失效。 ~~~python import requests from fake_useragent import UserAgent

url = 'http://httpbin.org/get' headers = {'User-Agent': UserAgent().random} proxies = { "http": "http://user:password@140.246.30.24:3828/" }

response = requests.get(url, headers=headers, proxies=proxies, stream=True) response.encoding = 'utf-8' print(response.raw._connection.sock.getpeername()[0]) ~~~

2.3.5 输入cookies

爬虫不得不说的一种情况就是现今大多数网站都加入了验证机制。如果你只是短时间要用一下的话，完全可以自己先登录，登录之后再从浏览器拿到自己的cookies信息，将cookies信息传入到爬虫程序中，如此就可以实现短时间的内容爬取。 例如，我们要爬取猫眼电影，现今猫眼电影使用加入了美团验证，爬虫一旦遇上验证的话，就会直接歇菜。除非你进行了相应的设置，因此我们使用cookies的方式进行短时爬取。

这一次的运气很好啊，我们没有碰上验证中心，不过总是有可能翻车的嘛，所以我们还是加上cookies吧。

加入cookies除了用于验证外，也可用于登录用户的验证。因此，cookies的处理也是较为重要的。

2.3.6 动态数据

我们目前使用requests获得的数据都是静态网页数据，也就是说数据都在HTML结构里面。然而，有可能我们使用爬虫爬取的数据是动态数据，也就是JavaScript渲染的数据。因此，我们可以使用selenium进行动态渲染后，再进行数据的爬取。这一部分放在后面介绍，现在先有个概念就行了。

3. 爬虫信息提取

我们见面介绍的requests库的get方法和各种参数的添加，都只拿到了整个网页信息。如同我们前面的Gif动态图中展示的一样，我们每次爬到的数据都是整个HTML页面的数据，这样的数据如果不经过处理虽然人眼依旧可以找到我们想要的数据。但是，当数据量很大之后，这样的效率实在是太低了，为了提高效率。我们介绍以下几种数据提取方法。

3.1 xpath选择器

| 命令 | 作用 | | -------------------- | ------------------------------ | | / | 从根节点开始选取数据 | | // | 从任意满足条件的节点选取数据 | | . | 当前节点 | | .. | 上一个节点 | | /[@属性='值'] | 根据属性值选取数据 | | /@属性 | 获得某个属性的值 | | /text | 获得文本内容 | | /标签[i] | 获得该标签的第i个的内容 | | /标签[last()-i] | 获得该标签的倒数第i+1个的内容 | | /* | 获得某个路径下所有的标签 | | /@* | 获得某个标签下的所有属性内容 |

比如我们要获得这个笑话下面的内容：http://xiaohua.zol.com.cn/detail60/59364.html ~~~python import requests from fake_useragent import UserAgent from lxml import etree

url = 'http://xiaohua.zol.com.cn/detail60/59364.html' headers = { 'User-Agent': UserAgent().random }

response = requests.get(url, headers=headers) response.encoding = 'gbk'

# 实例化HTML对象 html = etree.HTML(response.text) # 取出笑话数据 jokes = html.xpath("//div[@class='article-text']/p")

# 遍历所有的笑话变量，取出每一个的text属性 for joke in jokes: print(joke.text) ~~~

3.2 css选择器

| 命令 | 作用 | | -------------------------------- | ---------------------------------- | | .值1 | class属性的值为值1 | | #值1 | id属性的值为值1 | | 标签1，标签2 | 选择标签1和标签2 | | 标签1 标签2 | 标签1 下面的 标签2 | | 标签1 > 标签2 | 标签1 下面的 标签2 | | [属性1] | 获得所有具有属性1的标签 | | [属性1='某个值'] | 获得所有属性1的值为某个值的标签 | | 标签：nth-child[i] | 标签下的第几个节点(子节点) | | 标签：nth-last-child[i] | 标签下的倒数第几个节点(子节点) | | 标签：last-child | 标签的最后一个子节点 | | 标签.get_attribute('属性名') | 获得某个标签下的属性名这个属性的值 |依旧是爬取同一个笑话的内容，首先安装pyquery三方包。 ~~~python from pyquery import PyQuery as pq from fake_useragent import UserAgent

url = 'http://xiaohua.zol.com.cn/detail60/59364.html' headers = { 'User-Agent':UserAgent().random }

datas = pq(url=url,headers=headers) jokes = datas('div.article-text p')

for joke in jokes: print(joke.text) ~~~

3.3 beautifulsoup选择器

| 解析器 | 使用方法 | 优势 | 劣势 | | ---------------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ----------------------------------------------- | | Python标准库 | BeautifulSoup(markup, “html.parser”) | 1. Python的内置标准库 2. 执行速度适中 3.文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 | | lxml HTML 解析器 | BeautifulSoup(markup, “lxml”) | 1. 速度快 2.文档容错能力强 | 需要安装C语言库 | | lxml XML 解析器 | BeautifulSoup(markup, [“lxml”, “xml”])

BeautifulSoup(markup, “xml”) | 1. 速度快 2.唯一支持XML的解析器 | 需要安装C语言库 | | html5lib | BeautifulSoup(markup, “html5lib”) | 1. 最好的容错性 2.以浏览器的方式解析文档 3.生成HTML5格式的文档 4.速度慢 | 不依赖外部扩展 |

| 对象 | 命令 | 作用 | | --------------- | ----------------------- | ------------------------------------------------------------ | | tag | .标签 | beautifulsoup 文档树的标签，可类比HTML中的双标签进行理解。输出标签及内部的值。 | | NavigableString | .string | 获取字符串内容 | | | .text | 获取文本内容 | | 搜索对象 | find_all('标签名称') | 找到所有的叫做标签名称的标签的内容 | | | find('标签名称') | 找到第一个符合条件的标签及内容 | | css选择器 | .select() | 对应的css语法即可，参考上一小部分内容。 |依旧是获取同一个笑话的内容，需要先安装beautifulsoup4这个三方包 ~~~python import requests from bs4 import BeautifulSoup from fake_useragent import UserAgent

url = 'http://xiaohua.zol.com.cn/detail60/59364.html' headers = { 'User-Agent': UserAgent().random }

datas = requests.get(url, headers=headers) html = datas.text

# 实例化soup对象 soup = BeautifulSoup(html, 'lxml') jokes = soup.find_all('div', attrs={'class':'article-text'}) for joke in jokes: print(joke.text) ~~~

3.4 Python正则表达式

| 命令 | 说明 | | --------------- | ------------------------------------------------------------ | | ^ | 匹配字符串的开头 | | $ | 匹配字符串的末尾 | | . | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符 | | [...] | 用来表示一组字符,单独列出：[amk] 匹配 'a'，'m'或'k' | | [^...] | 不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符 | | * | 匹配0个或多个的表达式 | | + | 匹配1个或多个的表达式 | | ? | 匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式 | | { n} | 前面的表达式出现n次 | | { n,} | 前面表达式至少出现n次 | | re{ n, m} | 前面的正则表达式出现n到m之间次 | | a | 匹配为a字符 | | () | 括号内的表达式，表示一个组 | | \w | 匹配字母数字及下划线 | | \W | 匹配非字母数字及下划线 | | \s | 匹配任意空白字符，等价于 [\t\n\r\f]. | | \S | 匹配任意非空字符 | | \d | 匹配任意数字，等价于 [0-9] | | \D | 匹配任意非数字 | | \A | 匹配字符串开始 | | \Z | 匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。c | | \z | 匹配字符串结束 | | \G | 匹配最后匹配完成的位置 | | \b | 匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er\b' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er' | | \B | 匹配非单词边界。'er\B' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er' | | \n, \t, 等. | 匹配一个换行符。匹配一个制表符。等 | | \1...\9 | 匹配第n个分组的内容 | | \10 | 匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式 | | [\u4e00-\u9fa5] | 中文 | ~~~python import requests import re from fake_useragent import UserAgent

url = 'http://xiaohua.zol.com.cn/detail60/59364.html' headers = { 'User-Agent':UserAgent().random }

datas = requests.get(url,headers=headers).text

jokes = re.findall(r'

\s(.+)\s

',datas) for joke in jokes: print(joke) ~~~

4. 实例

经过第2部分的参数设置，第3部分的信息提取，现在我们已经能够将静态页面想要爬取的数据全部爬取出来了。所以，我们现在来做一个案例吧。

案例：爬取哔哩哔哩的每日排行榜

还记得我们前面说过的爬虫套路么？现在可以ctrl+Home回到首页看看有哪些套路哦，我们按照这个套路来爬去我们的哔哩哔哩视频网站的每日排行榜吧。 - 首先我们要找到哔哩哔哩的每日排行版的url界面，拿到url。 ~~~python https://www.bilibili.com/ranking](https://www.bilibili.com/ranking ~~~ - 提取那些数据 F12可以查看网页HTML代码哈。所以，我们对页面分析之后确定我们要拿'标题', '排名', '得分', '播放量', '热度', 'up', 'upid', '视频地址' - 如何提取 我们可以使用上述介绍到的多种方法进行数据提取哦，我这边就选用xpath和beautifulsoup两种方式进行讲解。 - 接下来就是编码了。 - beautifulsoup提取信息 ~~~python import requests from bs4 import BeautifulSoup import csv from datetime import datetime

url = 'https://www.bilibili.com/ranking'

# 发起网络请求

response = requests.get(url)

html = response.text

soup = BeautifulSoup(html, 'html.parser')

items = soup.find_all('li', {"class": "rank-item"})

contents = []

for item in items:

title = item.find('a', {"class": "title"}).text # 视频标题

video_url = item.find_all('a')[1].get('href') # av号链接

score = item.find('div', {"class": "pts"}).find('div').text # 综合得分

rank = item.find('div', {"class": "num"}).text # 排名

up = item.find_all('span', {"class": "data-box"})[2].text # up

up_id = item.find_all('a')[2].get('href') # upid

up_url = 'https:' + up_id

plays = item.find_all('span', {"class": "data-box"})[0].text # 播放量

hots = item.find_all('span', {"class": "data-box"})[1].text # 热度

content = [title, rank, score, plays, hots, up, up_url, video_url]

contents.append(content)

now = datetime.now().strftime('%Y%m%d_%H%M%S')

file_name = f'{now}top.csv'

# 保存为csv文件

with open(file_name, 'w+', encoding='utf-16', newline='') as f:

f_csv = csv.writer(f)

f_csv.writerow(['标题', '排名', '得分', '播放量', '热度', 'up', 'upid', '视频地址'])

f_csv.writerows(contents)

~~~

xpath提取信息 ~~~python import requests from lxml import etree import csv from datetime import datetime

url = 'https://www.bilibili.com/ranking'

发起网络请求

response = requests.get(url) html = response.text datas = etree.HTML(html)

取数据

titles = datas.xpath("//div[@class='info']/a") # 视频标题 video_urls = datas.xpath("//div[@class='info']/a/@href") # av号链接 scores = datas.xpath("//div[@class='pts']/div") # 综合得分 ranks = datas.xpath("//li[@class='rank-item']/div[@class='num']") # 排名 ups = datas.xpath("//div/a/span[@class='data-box']") # up up_ids = datas.xpath("//div[@class='detail']/a[@target='_blank']/@href") # upid plays = datas.xpath("//div[@class='detail']/span[1]") # 播放量 hots = datas.xpath("//div[@class='detail']/span[2]") # 热度 contents = []

for i in range(100): title = titles[i].text video_url = video_urls[i] score = scores[i].text rank = ranks[i].text up = ups[i].text up_id = up_ids[i] up_url = 'https:' + up_id play = plays[i].text hot = hots[i].text content = [title, rank, score, play, hot, up, up_url, video_url] contents.append(content) ~~~

now = datetime.now().strftime('%Y%m%d_%H%M%S') file_name = f'{now}top.csv' with open(file_name, 'w+', encoding='utf-16', newline='') as f: f_csv = csv.writer(f) f_csv.writerow(['标题', '排名', '得分', '播放量', '热度', 'up', 'upid', '视频地址']) f_csv.writerows(contents)

三：动态爬虫

上面我们提及到的爬虫都是属于静态网站的爬虫，该类爬虫的资源都直接摆放在HTML页面里面，因此十分容易爬取。但是，也有资源放置在动态JavaScript里面的网页，比如我们的部分图片网站。

上面我们爬取了视频网站，也爬取了笑话网站，那么这一次我们试一下动态爬取图片网站。我选择poco这个网站，链接如下：https://www.poco.cn/，可以自己进入网站看看哈。

我们除了要安装webdriver外，还必须要为我们的python安装selenium这个第三方包。安装命令为 ~~~python pip install selenium ~~~ 如此，我们的准备工作就做完了，在我们爬取poco网站的图片时，必须要注意传入选用的webdriver的地址给selenium，否则selenium会不知道使用哪个浏览器，以及没有工具打开浏览器。

至于其余的爬虫思路和我们最开始提到的爬虫套路是一模一样的，没有什么区别，只是我们爬虫使用的工具换成了selenium而已。

案例：selenium爬取poco图片

我录制了一个视频，上传到了B站，可以直接点击下方链接查看selenium的基础使用： 【爬虫】【python】动态网站图片爬取之再也不怕小姐姐没有地方放了 https://www.bilibili.com/video/BV1A7411u7Ys

四：scripy框架的使用

无论是使用我们的requests爬取静态资源库，还是使用我们的selenium爬取动态资源库，手动要写的代码都要写的较多。为了写更少的代码，我们可以直接使用scripy框架来进行模式化爬虫。

在使用之前，我们必须要先安装scripy框架。如果直接安装scripy框架，会提示我们安装一个几个G的C框架。为了不这么麻烦，因此我们下载twisted的whl文件，本地安装之后就可以直接安装scripy框架了。

我们到如下网站：https://www.lfd.uci.edu/~gohlke/pythonlibs/，搜索twisted文件，结合你的python版本选择whl文件下载到本地。

使用本地安装命令

pip install '本地路径/twisted的对应python版本文件.whl'

之后再使用pip安装scripy即可成功安装。

案例：一个小说爬虫的多种实现方式

我依旧录制了一个视频，上传到了B站，可以直接点击下方的链接查看scripy的基础使用： [python][scrapy]一个简单小说爬虫的多种实现方式及Debug过程 https://www.bilibili.com/video/BV1Uj411f7K5

说明本文由我本人原创，发布于简书卯月七账号、知乎卯月七账号、CSDN卯月七账号。

本文允许转载、学习，转载请注明出处，谢谢。

作者邮箱mcj6989@163.com,有问题可以联系。

本文为我整理的Python爬虫的入门文章，更多知识可以购买专业书籍学习。

创作不易，如果对你有帮助，希望能给我一些反馈，包括不限于点赞，评论，转发，非常感谢！！