urllib和urllib3

一、urllib库

1.1 urllib库所包含的模块

1.2 urlopen方法

1.3 添加请求头

1.4 cookie操作

1.5 代理设置

1.6 response对象

1.7 urllib.parse模块

1.8 urllib.error模块

1.9 robotparse模块

二、urllib3库

2.1 简介

2.2 构造请求

2.3 response属性

2.4 json数据解析

2.5 大数据处理

2.6 代理

2.7 request参数

三、爬虫开发的基本流程

四、练习

import urllib3
import re
import os
# 构造请求
http = urllib3.PoolManager()
url_list = ["http://www.weimeitupian.com", "http://www.weimeitupian.com/page/2", "http://www.weimeitupian.com/page/3"]
for i in range(len(url_list)):res = http.request("GET", url_list[i])  # 循环发送请求res_str = res.data.decode()  # 将响应的数据解码print("正在下载第{}页的数据".format(i+1))# 匹配创建文件夹时所需要的文本并筛选出所需要的文本dir_name = re.findall(r'title="(.+?)"', res_str, re.S)[9:-10]# 匹配每个图片的url并筛选出所需要的urlimg_url = re.findall(r'<!--<img src="(.+?)"', res_str, re.S)[:45]# print(dir_name, len(dir_name))# print(img_url, len(img_url))for i in range(len(img_url)):try:res_img = http.request("GET", img_url[i])# res_img = http.request("GET", img_url[i], preload_content=False)  # 分段存储必须要带上preload_content=Falseexcept Exception as e:print("url出错！", e)res_img = http.request("GET", "http://www.weimeitupian.com"+img_url[i])# res_img = http.request("GET", "http://www.weimeitupian.com" + img_url[i], preload_content=False)# 拼接一个路径，用来创建文件夹dir_path = os.path.join(r"D:\Python学院学习环境\pachong\img", dir_name[i])# 判断该路径是否存在，不存在则创建if not os.path.exists(dir_path):os.mkdir(dir_path)# 拼接一个文件路径file_path = os.path.join(dir_path, "{}".format(img_url[i].split("/")[-1]))with open(file_path, "wb")as f:print("正在下载第{}条数据".format(i+1))f.write(res_img.data)# for chunk in res_img.stream(32):  # 分段写入，每次写入32个字节#     f.write(chunk)

效果图

urllib和urllib3相关推荐

爬虫学习笔记（四）—— urllib 与 urllib3
urllib 是一个内置官方标准库,无需下载:它是python2中的 urllib 与 urllib2 的合并,urllib3 库是第三方标准库, 解决了线程安全,增加了连接池等功能,urllib与u ...
【python】urllib和urllib3，requests 简要概括---笔记
'''urllib和urllib3,requestsurl:协议://存放资源的地址(域名)/具体的资源https://bj.lianjia.com/zufang/dghfjhsjdf648.html ...
python urllib urllib2 urllib3 用法区别
目录简介 1.打开远程文件 2.获取远程文件一.urllib 1. urllib.request 1. 发起GET请求 2. 发起POST请求 3. 添加Headers 4. Request对象 ...
python发起网络请求模块【requests、selenium、urllib、urllib3】
python网络请求四大模块[requests.selenium.urllib.urllib3] 1.requests 该模块为python第三方库,需要使用pip安装安装 pip install ...
requests，urllib，urllib3爬虫库使用
文章目录 Requests 简介发送请求 url 添加请求参数添加请求头添加cookies 设置超时时间设置代理重定向证书忽略验证 POST请求发送Json数据 POST请求发送Form表 ...
Python网络请求urllib和urllib3详解
1. 简介 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. 而urllib3则是增加了连接池等功 ...
Python urllib, urllib2, urllib3 以及 requests 的区别 (附个人一些看法)
urllib python 标准 http 库, 无论是 python 2 还是 python 3 都有. urllib2 urllib2 是只存在于 python 2 的一个 http 标准库. ...
python urllib3 上传大文件_python urllib和urllib3包使用
urllib包 urllib是一个包含几个模块来处理请求的库.分别是: urllib.request 发送http请求 urllib.error 处理请求过程中,出现的异常. urllib.parse ...
Python标准库—urllib和urllib3
一.urllib urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib.urllib中一共有四个模块,分 ...

urllib和urllib3

urllib和urllib3

一、urllib库

1.1 urllib库所包含的模块

1.2 urlopen方法

1.3 添加请求头

1.4 cookie操作

1.5 代理设置

1.6 response对象

1.7 urllib.parse模块

1.8 urllib.error模块

1.9 robotparse模块

二、urllib3库

2.1 简介

2.2 构造请求

2.3 response属性

2.4 json数据解析

2.5 大数据处理

2.6 代理

2.7 request参数

三、爬虫开发的基本流程

四、练习

urllib和urllib3相关推荐

最新文章

热门文章