一、爬虫记得基本方法

1.1 爬虫概述

​网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

​Python的爬虫相对其他语言来说还是很简单的，是通过requests 这个模块来进行操作的

因此在使用python进行信息爬取之前，要确保你已经下载了requests 这个模块，如果没有下载通过：pip install requests这个命令下载一下就可以使用了.

1.2 爬虫的使用方法

爬虫是通过程序来对我们想要获取信息进行爬取，一般是采用requests 请求获取到网页的信息，然后再对网页的信息进行处理，拿到有效的数据.

通过requests的get方法获取到网页的信息

然后再提取出网页源代码

通过正则表达式从源代码中获取需要的信息

对信息再处理

保存数据

二、爬虫的操作实例

2.1 爬取文字

程序代码：

# # 实例 爬取段子标题和内容

import requests

import re

# 要爬取网页的链接

url = 'https://ishuo.cn/'

reponse = requests.get(url)

data = reponse.content.decode('utf-8')

# print(data)

res_title = re.findall('(.*?)',data)

res_content = re.findall('

',data)

# 创建一个字典用于存储数据

data_dict = {}

for i in range(len(res_title)):

data_dict[res_title[i]] = res_content[i]

for i in data_dict.items():

print(f'title:{i[0]:<50} {i[1]:<200}')

运行结果：

title:因为她是你的母亲 如果你得罪了老板，失去的只是一份工作；如果你得罪了客户，失去的不过是一份订单；是的，世上只有一个人可以得罪：你给她脸色看，你冲她发牢骚，你大声顶撞她，甚至当 着她的面摔碗，她都不会记恨你，原因很简单，因为她是你的母亲。

title:这个笑话好内涵，你懂了没？ 有位非常漂亮的女同事，有天起晚了没有时间化妆便急忙冲到公司。结果那天她被记旷工了……吃惊]

title:悟空和唐僧一起上某卫视非诚勿扰 悟空和唐僧一起上某卫视非诚勿扰,悟空上台,24盏灯全灭。理由:1.没房没车只有一根破棍. 2.保镖职业危险.3.动不动打妖精,对女生不温柔. 4.坐过牢,曾被压五指山下500年。唐僧上台，哗!灯全亮。 理由:1.公务员； 2.皇上兄弟，后台最硬 3.精通梵文等外语 4.长得帅 5.最关键一点：有宝马！

title:为了某个在乎你的人，请节约你的真心 Save your heart for someone who cares. 为了某个在乎你的人，请节约你的真心！

2.2 对图片的爬取

程序代码：

# # #对图片的爬取

# # 首先第一步要做的就是导入需要用到的模块库

import re

import requests

# 获取要爬取信息页面的内容

for i in range(10):

url = f'http://www.nipic.com/design/acg/renwu/index.html?page={i+1}'

reponse = requests.get(url)

# 使用data变量将页面信息传递过来

data = reponse.text

# 编写正则表达式获取有效的内容(每张图片的url地址)

results = re.findall('data-src="(.*?)"',data)

# 循环拿出每个图片的url

count = 0

print(f"正在爬出第{i+1}页的信息...")

for result in results :

# 请求页面获取图片信息存入变量中

images_data = requests.get(result)

# 取出文件名

images_name = result.split('/')[-1]

# 格式化 图片信息成二进制形式

images_content = images_data.content

# 将二进制文件生成图片并保存

with open('images\\'+images_name, 'wb') as f:

f.write(images_content)

f.flush()

count += 1

print(f'保存第{count}张图片成功')

运行结果：

正在爬出第1页的信息...

保存第1张图片成功

保存第2张图片成功

保存第3张图片成功

保存第4张图片成功

保存第5张图片成功

保存第6张图片成功

保存第7张图片成功

保存第8张图片成功

保存第9张图片成功

保存第10张图片成功

保存第11张图片成功

保存第12张图片成功

保存第13张图片成功

.....

2.3 对视频的爬取

程序代码：

# # # 对视频的爬取

import re

import requests

# 要爬取网站的url

url = 'http://www.mod.gov.cn/v/'

response = requests.get(url)

response.encoding = 'utf8'

data = response.text

page_url = re.findall('

for i in page_url:

page_url = 'http://www.mod.gov.cn/v/'+i

page_res = requests.get(page_url)

page_data = page_res.text

video_url = re.findall('//Video (.*?.mp4)',page_data)[0]

video_name = video_url.split('/')[-1]

video_data = requests.get(video_url).content

with open('videos\\'+video_name,'wb') as f:

f.write(video_data)

f.flush()

break

运行结果：

会在程序文件夹下的videos文件夹中保存视频的文件

总结

​今日份学习的是Python的爬虫相关的知识。通过实际操作掌握了，python的强大， 对网页信息的获取以及内容处理这一块的功能表示叹服，学到了很多新的知识，也通过实际动手操作成功的对文字、图片、视频等网站进行了爬取，开心ing