python的httplib、urllib和urllib2的区别及应用
urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。这意味着,你不可以伪装你的User Agent字符串等。
urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的
httplib
httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。
urllib简单用法
urllib.urlopen(url[, data[, proxies]]) :
google = urllib.urlopen('http://www.google.com')
print 'http header:/n', google.info()
print 'http status:', google.getcode()
print 'url:', google.geturl()
for line in google: # 就像在操作本地文件print line,
google.close()
详细使用方法见
urllib学习
urllib2简单用法
最简单的形式
import urllib2response=urllib2.urlopen('http://www.douban.com')html=response.read()
实际步骤:
1、urllib2.Request()的功能是构造一个请求信息,返回的req就是一个构造好的请求
2、urllib2.urlopen()的功能是发送刚刚构造好的请求req,并返回一个文件类的对象response,包括了所有的返回信息。
3、通过response.read()可以读取到response里面的html,通过response.info()可以读到一些额外的信息。
如下:
#!/usr/bin/env pythonimport urllib2req = urllib2.Request("http://www.douban.com")response = urllib2.urlopen(req)html = response.read()print html
有时你会碰到,程序也对,但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖,不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形:
import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'# 将user_agent写入头信息
values = {'name' : 'who','password':'123456'}
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
values是post数据
GET方法
例如百度:
百度是通过http://www.baidu.com/s?wd=XXX 来进行查询的,这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode
#coding:utf-8
import urllib
import urllib2
url = 'http://www.baidu.com/s'
values = {'wd':'D_in'}
data = urllib.urlencode(values)
print data
url2 = url+'?'+data
response = urllib2.urlopen(url2)
the_page = response.read()
print the_page
POST方法
import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' //将user_agent写入头信息
values = {'name' : 'who','password':'123456'} //post数据
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values) //对post数据进行url编码
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()
urllib2带cookie的使用
#coding:utf-8
import urllib2,urllib
import cookieliburl = r'http://www.renren.com/ajaxLogin'#创建一个cj的cookie的容器
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#将要POST出去的数据进行编码
data = urllib.urlencode({"email":email,"password":pass})
r = opener.open(url,data)
print cj
httplib简单用法
简单示例
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import httplib
import urllib def sendhttp(): data = urllib.urlencode({'@number': 12524, '@type': 'issue', '@action': 'show'}) headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} conn = httplib.HTTPConnection('bugs.python.org') conn.request('POST', '/', data, headers) httpres = conn.getresponse() print httpres.status print httpres.reason print httpres.read() if __name__ == '__main__': sendhttp()
具体用法见
httplib模块
转载于:https://blog.51cto.com/martinlei/1958633
python的httplib、urllib和urllib2的区别及应用相关推荐
- Py之urllib2:Python库之urllib、urllib2、urllib3系列简介、安装、使用方法之详细攻略
Py之urllib2:Python库之urllib.urllib2.urllib3系列简介.安装.使用方法之详细攻略 目录 urllib2简介 urllib2安装 urllib2使用方法 urllib ...
- urllib和urllib2的区别(很全面详细!)
文章摘自:https://www.cnblogs.com/wly923/archive/2013/05/07/3057122.html urllib与urllib2的学习总结(python2.7.X) ...
- Python——深入理解urllib、urllib2及requests(requests不建议使用?)
在python中有两种方式可以发送http请求: 通过python自带的urllib模块,不需要安装,直接from urllib import request,直接使用request对象做Http请求 ...
- urllib和urllib2的区别和使用
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能.他们两个最显著的差异如下: urllib2可以接受一个Request对象,并以此可以来设置一个URL的h ...
- python 网络编程——urllib,urllib2简单运用
知识点一:字典 字典呢就是一种数据结构,我们也可以将它称作映射,可以储存任意类型对象.它是由一个键/值对组成,举个通俗一点的例子,以我们的电话簿为例,值==电话,键==姓名. 需要注意的是在字典中,所 ...
- urllib、urllib2、urllib3 和 requests 模块有什么区别?
问: 在 Python 中,urllib.urllib2.urllib3 和 requests 模块有什么区别?为什么有三个?他们似乎在做同样的事情- 答1: HuntsBot周刊–不定时分享成功产品 ...
- python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
全栈工程师开发手册 (作者:栾鹏) python教程全解 python数据挖掘库urllib.urllib2.cookie知识全解.本文使用python2.7环境,如果需要使用python3的环境只需 ...
- python urllib2模块安装,Python urllib和urllib2模块学习(二)
一.urllib其它函数 前面介绍了 urllib 模块,以及它常用的 urlopen() 和 urlretrieve()函数的使用介绍.当然 urllib 还有一些其它很有用的辅助方法,比如对 ur ...
- python2.7下的urllib和urllib2
python最恶心的地方就在于它的版本和配置了,特别是安装第三方包的时候经常会出现莫名其妙的错误,又不懂. 所以只能不断的切来切去的. 今天学习python爬虫,其中Python2.7使用了urlli ...
最新文章
- Wiew 像写 Android UI 一样写小游戏布局
- [leetcode]Jump Game
- Python网络爬虫--BeautifulSoup库的基本元素
- IOS15 UICollectionViewController 如何初始化
- 新手来博客,请多多指教。
- php 上传excel到mysql_PHP上传Excel文件导入数据到MySQL数据库示例
- 简单的exp全备份脚本及部署过程(step by step)
- 超越存储,历久弥新!新华三发布入门级存储产品
- Unity 使物体朝向某个方位
- ms17010利用失败_利用产品管理中的失败
- 中文分词(上)——获取和Word2Vec模型构建
- JAVA合并两个PDF文件
- VsCode使用及常用命令汇总(Win10)
- 牛客编程巅峰赛S1第2场 - 黄金钻石 1.规律 2.bfs
- 是什么引发了我对知识的渴望
- cesium 添加广告牌
- 100内奇数之和流程图_2019版路基工程清包工参考价+19种路基常用施工流程图
- 点云补全综述 Comprehensive Review of Deep Learning-Based 3D Point Clouds Completion Processing and Analys
- 域名——保护企业知识产权的重要一环!
- c++语言的学习——A+B问题