1 简单介绍

相信许多小伙伴学Python的时候，印象最深刻的便是爬虫。而像numpy、pandas一样，Urllib库是Python中一个功能强大、用于操作URL、并在做爬虫的时候经常要用到的库。
在Python2.x中，分为Urllib库和Urllin2库，Python3.x之后都合并到Urllib库中，使用方法略微不同。
httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！

2 相关区别

总结1：urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以伪装你的User Agent字符串等。
总结2：urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的

3 实例讲解

（1）urllib

urllib简单用法
urllib.urlopen(url[, data[, proxies]]) :

google = urllib.urlopen('http://www.google.com')
print 'http header:/n', google.info()
print 'http status:', google.getcode()
print 'url:', google.geturl()
for line in google: # 就像在操作本地文件print line,
google.close()

（2）ulrlib2

urllib2简单用法

（3）httplib

httplib简单用法

（4）requests

request简单用法

4 项目实战

【Python】url基础：urllib相关推荐

Python 爬虫基础 - Urllib 模块（1）
Python的一个很广泛的功能就是爬虫.爬虫可以获取我们需要的资料,甚至进行DDos的工具.爬虫现在比较流行的是Scrapy之类的模块,但是在学习这些工具之前,先了解一下Urllib模块,知道他的基本 ...
python url编码-----urllib的urlencode和quote和quote_plus
背景:需要使用有特别要求的第三方接口. python部分: 1.urllib.urlencode(query, doseq=0) 接受参数形式为:[(key1, value1), (key2, val ...
python爬虫基础扫盲之urllib.pase解析URL
在笨方法"学习python笔记之urlopen,中提了urllib主要是提供打开网页,解析url等功能用于网络爬虫,其lib主要包含四个部分,其中urllib.parse主要是负责url的解 ...
python url拼接_python学习笔记——urllib篇
1 request模块:用于打开和读取 URL. 使用urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None, capath=None ...
python基础知识整理-python爬虫基础知识点整理
首先爬虫是什么? 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 根据我的经验,要学习Python爬虫 ...
Python网络请求urllib和urllib3详解
1. 简介 urllib是Python中请求url连接的官方标准库,在Python2中主要为urllib和urllib2,在Python3中整合成了urllib. 而urllib3则是增加了连接池等功 ...
python爬虫基础(一)～爬虫概念和架构
目录 1. 爬虫 1.1 概念 1.2 分类 2. 爬虫架构 2.1 url管理器 2.2 网页(html)下载(download)器 2.2.1 urllib下载html源码 2.2.2 reque ...
python爬虫基础知识点_入门Python爬虫知识点梳理
[小宅按]爬虫基本原理就是通过网络请求从远程服务器下载数据的过程,而这个网络请求背后的技术就是基于 HTTP 协议.作为入门爬虫来说,用户需要了解 HTTP协议的基本原理,虽然 HTTP 规范用一本书 ...
python语法基础知识案例_python基础知识理解
一.概述看了一天的python基础语法,基本对python语法有了一个大概的了解(其实之前断断续续也看过python),学习网址:Python 基础教程.因为之前我学过C++,因此在学习python ...
python中的urllib库_Python2/3中的urllib库
介绍urllib库在不同版本的Python中的变动,并以Python3.X讲解urllib库的相关用法. urllib库对照速查表 Python2.X Python3.X urllib urllib. ...

【Python】url基础：urllib

文章目录

1 简单介绍

2 相关区别

3 实例讲解

（1）urllib

（2）ulrlib2

（3）httplib

（4）requests

4 项目实战

【Python】url基础：urllib相关推荐

最新文章

热门文章