我发现最近很多同学都喜欢去研究python爬虫怎么写，但很多人其实都是临时有任务需要使用到爬虫，而网上的教程学起来太漫长，因为我也是0基础学会的了，我觉得我来写的话可能大家更容易上手，所以我决定写几个案例来教大家怎么快速的爬取网页中的文件或者是数据。

由简单到困难我分别会用 pdf文件下载，airbnb数据爬取，某电商产品分类销量价格爬取这3个案例来介绍

第一个案例是爬取去网页中的pdf文件

首先介绍一下爬虫的原理

我们随便打开一个网页，看到图片后，右键图片，点击检查，就会定位到右图我画了红框的位置，仔细看图片可以发现，红框的内容就是*****.jpg，而这便是这张图片的地址。我们在写爬虫的时候，就是请求这个地址然后将文件保存下来。

而爬虫主要目的是为了节省人力，我们每次不是只下载这一个图片，我们是需要下载很多图。

接下来正式进入第一个案例 批量下载某网页中的pdf文件。

首先用易懂的方式介绍我们需要用到的库(库就是别人已经写好的程序，你只需要按照别人的要求来使用)

requests(这是用来请求网页的数据，比如上图中的网址，我用requests来请求，就会得到上图中右边那一大段的代码)

BeautifulSoup(当我们用requests请求到上图中那一大串代码的时候，我们就需要用BeautifulSoup这个库来找出我们需要的那段*****.jpg的网址)

requests(接下来我们再用一次requests来请求*****.jpg 就可以保存到我们的电脑里了)

random (这是用来得出一个随机数的)

time(这个是用来让每次运行的时间间隔不那么快，不然容易被封IP)

正式进入我们要爬取文件的网站

比如我要爬取这个网站中的所有文件

一直找到下载的最后一步，(最后一步指的是我再点击一下，他就真的开始下载了)这个网站的最后一步是这样的

../doaction.php?enews=DownSoft&classid=3&id=38554&pathid=0&pass=2c677cca1cdf406d3add48fd25695252&p=:::

仔细比对多个下载链接后，会发现上面一串字母数字中，只有id=后面的38554是不同的，其它的内容都是一样。所以，我们要下载所有的文件，就只需要找出网页中所有的数值，然后替代进去。

接下来我们来看目录页

我们发现目录中每一个链接我们用邮件审查后，位数也会有相同的数字。也就是说，我们这个网站总共有15522条目录，我们只需要找出这15522条目录对应的数值，再替换到我们第一步中找到的下载链接就可以全部下载完成了。

接下来开始实际操作

from bs4 import BeautifulSoup

import requests

import re

import random

import time

headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}

URL="我们需要的网址"

link1="http://我们需要的网址/e/downsys/doaction.php?enews=DownSoft&classid=3&id="

link2="&pathid=0&pass=2c677cca1cdf406d3add48fd25695252&p=:::"

data=requests.get(URL).text

soup=BeautifulSoup(data,"lxml")

#print(soup.prettify())

all_id=[]

for t in soup.find_all('a'):

ID=re.findall('\d+',t.get("href"))

#print(ID)

for id in ID:

if int(id) >2020:

all_id.append(id)

for link_id in all_id:

rlink=link1+link_id+link2

r = requests.get(rlink)

with open(link_id+'.rar', 'wb') as f:

f.write(r.content)

print('download'+link_id+'完成')

time.sleep(random.randint(0,3))这就是下载的文件

我对不起大家，我实在不知道怎么形容通俗易懂了，等等，我过两天再来梳理一下语言其实就上面简单的几行代码就可以把整个网站1w多个文件下载下来了，但是我感觉我词穷了。