Python爬虫(三)_urllib2:get和post请求
urllib.urlencode()
urllib和urllib2都是接受URL请求的相关参数,但是提供了不同的功能。两个最显著的不同如下:
- urllib仅可以接受URL,不能创建设置了headers的Request类实例;
- 但是urllib提供了
urlencode
方法用来GET查询字符串的产生,而urllib2则没有。(这是urllib和urllib2经常一起使用的主要原因)- 编码工作使用urllib的
urlencode()
函数,帮我们将key:value
这样的键值对转换成"key=value"
这样的字符串,解码工作可以使用urllib的unquote()
函数。(注意,不是urllib.urlencode())
#-*- coding:utf-8 -*- #06.urllib2_urlencode.py import urllib2 import urllibword = {"wd":"传智播客"}#通过urllib.urlencode()方法,将字典键值对按URL编码转换,从而能被web服务器接受 encode = urllib.urlencode(word)print(encode) #通过urllib.unquote()方法,把URL编码字符串,转换回原始字符串print(urllib.unquote("wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2"))
一般HTTP请求提交数据,需要编码成URL编码格式,然后作为url的一部分,或者作为参数传到Request对象中。
Get方式
Get请求一般用于我们向服务器获取数据,比如说,我们用百度搜索传智播客
;https://www.baidu.com/s?wd=传智播客
浏览器的url会跳转如图所示
https://www.baidu.com/s?wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2
在其中我们可以看到在请求部分里,http://www.baidu.com/s
之后出现一个长长的字符串,其中就包含我门要查询的关键词传智播客,于是我们可以尝试使用默认的Get方式来发送请求。
#-*- coding:utf-8 -*- #07.urllib2_get.pyimport urllib import urllib2url = "http://www.baidu.com/s" word = {"wd":"传智播客"} word = urllib.urlencode(word) #转换成url编码格式(字符串) newurl = url + "?" + wordheaders = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}request = urllib2.Request(newurl,headers = headers)response = urllib2.urlopen(request)print(response.read())
批量爬取贴吧页面数据
首先我们创建一个python文件,tiebaSpider.py,我们要完成的是,输入一个百度贴吧的地址,比如:
百度贴吧LOL吧第一页:[http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0](http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
第二页:[http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50](http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第二页:[http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100](http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
发现规律了吧,贴吧中每个页面不同之处,就是url最后的pn的值,其余的都是一样的,我们可以抓住这个规律。
简单写一个小爬虫程序,来爬虫百度LOL吧的所有网页
- 先写一个main,提示用户输入要爬取的贴吧名,并用urllib.urlencode()进行转码,然后组合url,假设是lol吧,那么组合的url就是:
http://tieba.baidu.com/f?kw=lol
# 模拟 main 函数 if __name__ == "__main__":kw = raw_input("请输入需要爬取的贴吧:")# 输入起始页和终止页,str转成int类型beginPage = int(raw_input("请输入起始页:"))endPage = int(raw_input("请输入终止页:"))url = "http://tieba.baidu.com/f?"key = urllib.urlencode({"kw" : kw})# 组合后的url示例:http://tieba.baidu.com/f?kw=lolurl = url + keytiebaSpider(url, beginPage, endPage)接下来,我们写一个百度贴吧爬虫接口,我们需要传递3个参数给这个接口,一个是main里组合url地址,以及起始页和终止页码,表示要爬取页码的范围。def tiebaSpider(url, beginPage, endPage):"""作用:负责处理url,分配每个url去发送请求url:需要处理的第一个urlbeginPage: 爬虫执行的起始页面endPage: 爬虫执行的截止页面"""for page in range(beginPage, endPage + 1):pn = (page - 1) * 50filename = "第" + str(page) + "页.html"# 组合为完整的 url,并且pn值每次增加50fullurl = url + "&pn=" + str(pn)#print fullurl# 调用loadPage()发送请求获取HTML页面html = loadPage(fullurl, filename)# 将获取到的HTML页面写入本地磁盘文件 writeFile(html, filename)我们已经之前写出一个爬取一个网页的代码。现在,我们可以把它封装成一个loadPage,供我们使用。def loadPage(url, filename):'''作用:根据url发送请求,获取服务器响应文件url:需要爬取的url地址filename: 文件名'''print "正在下载" + filenameheaders = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}request = urllib2.Request(url, headers = headers)response = urllib2.urlopen(request)return response.read()最后如果我们希望将爬取到了每页的信息存储在本地磁盘上,我们可以简单写一个存储文件的接口。def writeFile(html, filename):"""作用:保存服务器响应文件到本地磁盘文件里html: 服务器响应文件filename: 本地磁盘文件名"""print "正在存储" + filenamewith open(filename, 'w') as f:f.write(html)print "-" * 20
其实很多网站都是这样的,同类网站下的html页面编号,分别对应网址后的网页序号,只要发现规律就可以批量爬取页面了。
POST方式:
上面我们说了Request请求对象里有data参数,它就是用在POST里,我们要传送的数据就是这个参数data,data是一个字典,里面要匹配键值对。
有道词典翻译网站:
输入测试数据,再通过使用Fiddler观察,其中有一条是POST请求,而向服务器发送的请求数据并不是在url里,那么我们可以试着模拟这个POST请求。
于是,我们可以尝试用POST方式发送请求。
#-*- coding:utf-8 -*- #09.urllib2_post.pyimport urllib import urllib2#POST请求的目标URL url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"headers = {"User-Agent":"Mozilla...."}formate = {"type":"AUTO","i":"i love python","doctype":"json","xmlVersion":"1.8","keyform":"fanyi.web","ue":"utf-8","action":"FY_BY_ENTER","typoResult":"true" }data = urllib.urlencode(formate)request = urllib2.Request(url, data=data, headers = headers)response = urllib2.urlopen(request)print("-"*30) print(response.read())
发送POST请求时,需要特别注意headers的一些属性:
Content-Length
:是指发送的表单数据长度为144,也就是字符个数是144个;
X-Requested-With
:表示Ajax异步请求。
Content-Type: application/x-www-form-urlencoded
:表示浏览器提交web表单时,表单数据会按照name1=value1&name2=value2键值对形式进行编码。
获取AJAX加载的内容
有些网页内容使用AJAX加载,只要记得,AJAX一般返回的是JSON,直接对AJAX地址进行post或get,就返回JSON数据了。
"作为一名爬虫工程师,你最需要关注的,是数据的来源了。"
#-*- coding:utf-8 -*- #10.urllib2_ajax.py import urllib import urllib2# demo1 url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action"headers={"User-Agent": "Mozilla...."}# 变动的是这两个参数,从start开始往后显示limit个 formdata = {'start':'0','limit':'10' } data = urllib.urlencode(formdata)request = urllib2.Request(url, data = data, headers = headers) response = urllib2.urlopen(request)print(response.read())#demo2 url = "https://movie.douban.com/j/chart/top_list?" headers={"User-Agent": "Mozilla...."}# 处理所有参数 formdata = {'type':'11','interval_id':'100:90','action':'','start':'0','limit':'10' } data = urllib.urlencode(formdata)request = urllib2.Request(url, data = data, headers = headers) response = urllib2.urlopen(request)print response.read()
问题:为什么有时候POST也能在URL内看到数据?
- GET方式是以直接以链接形式访问,链接中包含了所有参数,服务器端用Request.QueryString获取变量的值。如果包含了密码的话是一种不安全的选择,不过你可以直观地看到自己提交了什么内容。
POST则不会在网址上显示所有的参数,服务器端用Request.Form获取提交的数据,在Form提交的时候。但是HTML代码里如果不指定method属性,则默认为GET请求,Form中提交的数据将会附加在url之后,以
?
与url分开- 表单数据可以作为URL字段(method="get")或者HTTP POST(method="post")的方式来发送。比如在下面的HTML代码中,表单数据将因为(method="get")而附加到URL上;
<form action="form_action.asp" method="get"><p>First name: <input type="text" name="fname" /></p><p>Last name: <input type="text" name="lname" /></p><input type="submit" value="Submit" /> </form>
处理HTTPS请求SSL证书验证
现在随处可见https开头的网站,urllib2可以为HTTPS请求验证SSL证书,就像web浏览器一样,如果网站的SSL证书是经过CA认证的,则能够正常访问,如https://www.baidu.com/
...
如果SSL证书验证不通过,或者操作系统不信任服务器的安全证书,比如浏览器在访问12306网站如:"https://www.12306.cn/normhweb/"的时候,会警告用户证书不受信任。(据说 12306网络证书是自己的,没有通过CA认证)
urllib2在访问的时候则会报出SSLError:
import urllib2url = "https://www.12306.cn/mormhweb/"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}request = urllib2.Request(url, headers = headers)response = urllib2.urlopen(request)print(response.read())
运行结果:
urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)>
所以,如果以后遇到这种网站,我们需要单独处理SSL证书,让程序忽略SSL证书验证错误,即可正常访问。
import urllib import urllib2 # 1. 导入Python SSL处理模块 import ssl# 2. 表示忽略未经核实的SSL证书认证 context = ssl._create_unverified_context()url = "https://www.12306.cn/mormhweb/"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}request = urllib2.Request(url, headers = headers)# 3. 在urlopen()方法里 指明添加 context 参数 response = urllib2.urlopen(request, context = context)print response.read()
转载于:https://www.cnblogs.com/moying-wq/p/11569810.html
Python爬虫(三)_urllib2:get和post请求相关推荐
- python爬虫(四)_urllib2库的基本使用
python爬虫(四)_urllib2库的基本使用 本篇我们将开始学习如何进行网页抓取,更多内容请参考:python学习指南 urllib2库的基本使用 所谓网页抓取,就是把URL地址中指定的网络资源 ...
- python爬虫之Scrapy框架的post请求和核心组件的工作 流程
python爬虫之Scrapy框架的post请求和核心组件的工作 流程 一 Scrapy的post请求的实现 在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对star ...
- python爬虫——三步爬得电影天堂电影下载链接,30多行代码即可搞定:
python爬虫--三步爬得电影天堂电影下载链接,30多行代码即可搞定: 本次我们选择的爬虫对象是:https://www.dy2018.com/index.html 具体的三个步骤:1.定位到202 ...
- Python爬虫——urllib下载和订制请求对象
文章目录 Python爬虫--urllib下载和订制请求对象 1.urllib下载资源 2.定制请求 Python爬虫--urllib下载和订制请求对象 1.urllib下载资源 下载资源使用urll ...
- [Python爬虫] 三、数据抓取之Requests HTTP 库
往期内容提要: [Python爬虫] 一.爬虫原理之HTTP和HTTPS的请求与响应 [Python爬虫] 二.爬虫原理之定义.分类.流程与编码格式 一.urllib 模块 所谓网页抓取,就是把URL ...
- Python爬虫:逆向分析酷我音乐请求参数(支持SQ超品音质)
文章目录 前言 1. 请求分析 2. 获取参数 3. 完整代码 结束语 前言 免责声明: 本篇博文的初衷是分享自己学习逆向分析时的个人感悟,所涉及的内容仅供学习.交流,请勿将其用于非法用途 ...
- Python爬虫教程之——详解http请求头中的User-agent与Referer
** 重要提示: 本文已迁移至我的个人博客:https://ericnth.cn/essay/2020/04/python-spider-ua-referer/,请前往此链接访问以获得最新的内容,以及 ...
- python爬虫---实现项目(二) 分析Ajax请求抓取数据
这次我们来继续深入爬虫数据,有些网页通过请求的html代码不能直接拿到数据,我们所需的数据是通过ajax渲染到页面上去的,这次我们来看看如何分析ajax 我们这次所使用的网络库还是上一节的Reques ...
- python爬虫(四)_urllib2:handle处理器和自定义opener
opener和handleer 我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页,它是一个特殊的opener(也就是模块帮我们建好的),opener是urllib2.Op ...
最新文章
- Flutter中关键字Const和Final之间的区别
- 11.字典:当索引不好用时
- 产品创新必备方法论:国外系统的产品创新
- 在c语言中错误的常数表示是,C语言程序设计试题
- 人工智能之知识图谱-学习笔记
- 52次课(mysql用户管理、常用sql语句、 mysql数据库备份恢复)
- 分支结构定义java_[Android-Java]2.分支结构-(4-7)
- python跳出if条件_带你学python基础:条件控制if与循环语句while、for 以及range函数...
- Redis:使用Redis的分布式锁
- Zookeeper Client简介
- Linux上安装GCC编译器过程实录
- cd linux如何连接wifi,cdlinux万能无线系统使用教程
- 企业级静态代码分析工具清单
- 动物识别论文整理——一种基于生物特征的鱼类分类模型
- 如何获取节假日的方法
- MATLAB图像灰度图处理
- 【转】宽带路由器应用(三)—ARP欺骗防护功能的使用
- type=“text/javascript“什么意思?
- Win10下搭建旷视YOLOX(新一代anchor-free目标检测网络)并训练自定义CoCo格式数据集
- Mac启动磁盘不能被分区或恢复成单个分区
热门文章
- LeetCode(1)Two Sum
- Linux常用命令-入门
- Windows Phone 网络HttpWebRequest用法
- gitlab 安装报错:Could not find modernizr-2.6.2 in any of the sources
- stl string的erase方法
- 业界 | 李彦宏:中国人愿意用隐私交换便利性;无人车事故是“人咬狗”新闻...
- iOS程序员眼中的客户端免登陆(数据迁移已更新)
- windows资源管理器进行ftp登录下载文件报“当前的安全设置不允许从该位置下载文件”...
- 使用 VisualVM 进行性能分析及调优
- Linux高负载下优化MYSQL(一)