爬虫python爬取页面请求_03 Python网络爬虫第三弹《爬取get请求的页面数据》,urllib...
一.urllib库
urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse,在Python2中是urllib和urllib2。
二.由易到难的爬虫程序:
1.爬取百度首页面所有数据值
1 #!/usr/bin/env python
2 #-*- coding:utf-8 -*-
3 #导包
4 importurllib.request5 importurllib.parse6 if __name__ == "__main__":7 #指定爬取的网页url
8 url = 'http://www.baidu.com/'
9 #通过urlopen函数向指定的url发起请求,返回响应对象
10 reponse = urllib.request.urlopen(url=url)11 #通过调用响应对象中的read函数,返回响应回客户端的数据值(爬取到的数据)
12 data = reponse.read()#返回的数据为byte类型,并非字符串
13 print(data)#打印显示爬取到的数据值。
#补充说明
urlopen函数原型:urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)
在上述案例中我们只使用了该函数中的第一个参数url。在日常开发中,我们能用的只有url和data这两个参数。
url参数:指定向哪个url发起请求
data参数:可以将post请求中携带的参数封装成字典的形式传递给该参数(暂时不需要理解,后期会讲)
urlopen函数返回的响应对象,相关函数调用介绍:
response.headers():获取响应头信息
response.getcode():获取响应状态码
response.geturl():获取请求的url
response.read():获取响应中的数据值(字节类型)
2.将爬取到百度新闻首页的数据值写入文件进行存储
#!/usr/bin/env python#-*- coding:utf-8 -*-
importurllib.requestimporturllib.parseif __name__ == "__main__":
url= 'http://news.baidu.com/'reponse= urllib.request.urlopen(url=url)#decode()作用是将响应中字节(byte)类型的数据值转成字符串类型
data =reponse.read().decode()#使用IO操作将data表示的数据值以'w'权限的方式写入到news.html文件中
with open('./news.html','w') as fp:
fp.write(data)print('写入文件完毕')
3.爬取网络上某张图片数据,且存储到本地
#!/usr/bin/env python#-*- coding:utf-8 -*-
importurllib.requestimporturllib.parse#如下两行代码表示忽略https证书,因为下面请求的url为https协议的请求,如果请求不是https则该两行代码可不用。
importssl
ssl._create_default_https_context=ssl._create_unverified_contextif __name__ == "__main__":#url是https协议的
url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'reponse= urllib.request.urlopen(url=url)
data= reponse.read()#因为爬取的是图片数据值(二进制数据),则无需使用decode进行类型转换。
with open('./money.jpg','wb') as fp:
fp.write(data)print('写入文件完毕')
4.url的特性:url必须为ASCII编码的数据值。所以我们在爬虫代码中编写url时,如果url中存在非ASCII编码的数据值,则必须对其进行ASCII编码后,该url方可被使用。
案例:爬取使用百度根据指定词条搜索到的页面数据(例如爬取词条为‘周杰伦’的页面数据)
#!/usr/bin/env python#-*- coding:utf-8 -*-
importurllib.requestimporturllib.parseif __name__ == "__main__":#原始url中存在非ASCII编码的值,则该url无法被使用。
#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
#处理url中存在的非ASCII数据值
url = 'http://www.baidu.com/s?'
#将带有非ASCII的数据封装到字典中,url中非ASCII的数据往往都是'?'后面键值形式的请求参数
param ={'ie':'utf-8','wd':'周杰伦'}#使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
param =urllib.parse.urlencode(param)#将编码后的数据和url进行整合拼接成一个完整可用的url
url = url +paramprint(url)
response= urllib.request.urlopen(url=url)
data=response.read()
with open('./周杰伦.html','wb') as fp:
fp.write(data)print('写入文件完毕')
5.通过自定义请求对象,用于伪装爬虫程序请求的身份。
之前在讲解http常用请求头信息时,我们讲解过User-Agent参数,简称为UA,该参数的作用是用于表明本次请求载体的身份标识。如果我们通过浏览器发起的请求,则该请求的载体为当前浏览器,则UA参数的值表明的是当前浏览器的身份标识表示的一串数据。如果我们使用爬虫程序发起的一个请求,则该请求的载体为爬虫程序,那么该请求的UA为爬虫程序的身份标识表示的一串数据。有些网站会通过辨别请求的UA来判别该请求的载体是否为爬虫程序,如果为爬虫程序,则不会给该请求返回响应,那么我们的爬虫程序则也无法通过请求爬取到该网站中的数据值,这也是反爬虫的一种初级技术手段。那么为了防止该问题的出现,则我们可以给爬虫程序的UA进行伪装,伪装成某款浏览器的身份标识。
上述案例中,我们是通过request模块中的urlopen发起的请求,该请求对象为urllib中内置的默认请求对象,我们无法对其进行UA进行更改操作。urllib还为我们提供了一种自定义请求对象的方式,我们可以通过自定义请求对象的方式,给该请求对象中的UA进行伪装(更改)操作。
#!/usr/bin/env python#-*- coding:utf-8 -*-
importurllib.requestimporturllib.parseimportssl
ssl._create_default_https_context=ssl._create_unverified_contextif __name__ == "__main__":#原始url中存在非ASCII编码的值,则该url无法被使用。
#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰伦'
#处理url中存在的非ASCII数据值
url = 'http://www.baidu.com/s?'
#将带有非ASCII的数据封装到字典中,url中非ASCII的数据往往都是'?'后面键值形式的请求参数
param ={'ie':'utf-8','wd':'周杰伦'}#使用parse子模块中的urlencode函数将封装好的字典中存在的非ASCII的数值进行ASCII编码
param =urllib.parse.urlencode(param)#将编码后的数据和url进行整合拼接成一个完整可用的url
url = url +param#将浏览器的UA数据获取,封装到一个字典中。该UA值可以通过抓包工具或者浏览器自带的开发者工具中获取某请求,从中获取UA的值
headers={'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}#自定义一个请求对象
#参数:url为请求的url。headers为UA的值。data为post请求的请求参数(后面讲)
request = urllib.request.Request(url=url,headers=headers)#发送我们自定义的请求(该请求的UA已经进行了伪装)
response =urllib.request.urlopen(request)
data=response.read()
with open('./周杰伦.html','wb') as fp:
fp.write(data)print('写入数据完毕')
爬虫python爬取页面请求_03 Python网络爬虫第三弹《爬取get请求的页面数据》,urllib...相关推荐
- Python实训day05pm【JS-DOM-获取元素节点对象、网络爬虫】
Python实训-15天-博客汇总表 目录 1.CSS选择器 2.网络爬虫 2.1.练习1 2.2.练习2 1.CSS选择器 .rank-body .book-mid-info .author a:n ...
- 使用代理爬去微信公众号_Python3网络爬虫开发实战之使用代理爬取微信公众号文章...
本节目标 我们的主要目标是利用代理爬取微信公众号的文章,提取正文.发表日期.公众号等内容,爬取来源是搜狗微信,其链接为 http://weixin.sogou.com/,然后把爬取结果保存到 MySQ ...
- 用pycharm进行python爬虫的步骤_使用Pycharm写一个网络爬虫
在初步了解网络爬虫之后,我们接下来就要动手运用Python来爬取网页了. 我们知道,网络爬虫应用一般分为两个步骤: 1.通过网页链接获取内容: 2.对获得的网页内容进行处理 这两个步骤需要分别使用不同 ...
- 唤醒手腕Python全栈工程师学习笔记(网络爬虫篇)
唤醒手腕Python爬虫学习笔记,喜欢的同学们可以收藏下,谢谢支持. 01.基础语法知识点 字符串的分割 webString = 'www.baidu.com' print(webString.spl ...
- Python之父强烈推荐,Python3网络爬虫开发实战,爬虫入门必看书籍,豆瓣评分9.2
实操性很强的一本工具书,由浅入深,深入浅出.前面从环境配置到爬虫原理.基本库和解析库的使用再到数据存储,一步步把基础打好,然后再分门别类介绍了Ajax.动态页.验证码.App的爬取.识别等,还讲解了代 ...
- python学到什么程度可以写爬虫-小白python学到什么程度可以学习网络爬虫? ?...
通常掌握简单的Python语法基础,对现有的网页组成,比如HTML.css.javascript等网页源码有一定的了解,就可以开始学爬虫了. Python关于爬虫的部分,其实是比较好学的,可以大致分为 ...
- 爬虫好学吗python-小白python学到什么程度可以学习网络爬虫? ?
通常掌握简单的Python语法基础,对现有的网页组成,比如HTML.css.javascript等网页源码有一定的了解,就可以开始学爬虫了. Python关于爬虫的部分,其实是比较好学的,可以大致分为 ...
- python爬虫程序框架的理论是什么_Python网络爬虫(scrapy框架简介和基础应用)
一.什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍.所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等) ...
- python爬虫软件安装不了_为编写网络爬虫程序安装Pytho
一. 下载Python3.5.1安装包 1.进入python官网,点击menu->downloads,网址:Download Python 2. 根据系统选择32位还是64位,这里下载的可执行e ...
最新文章
- 容器生态系统 - 每天5分钟玩转容器技术(2)
- php 类示例,PHP类实例教程(二十二):类型提示
- C++ 引用通过代码例子理解
- 吴恩达深度学习课程deeplearning.ai课程作业:Class 4 Week 1 Convolution model - Application
- 浅学JavaScript
- Do not wait until the conditions are perfect to begin. Beginning makes the conditions perfect(转)...
- java事件绑定,Java编程GUI中的事件绑定代码示例
- Android屏幕适配的两种方式
- 【STRIDE】【4】安全威胁分析设计
- 幼儿识字软件测试自学,2016幼儿识字APP哪家强?最新测评出炉!
- python手机号定位_利用python进行人肉搜索(一) [获取手机号]
- Seek 策略以及在有 B 帧情况下的处理
- 关于sql server中isnull(值,值)是什么意思
- 操作系统-5大功能、5大类型
- 单声道蓝牙实现音乐播放
- 基于微信小程序的自习室预约系统设计与实现-计算机毕业设计源码+LW文档
- windows家族介绍
- 【深度学习】详解 MAE
- 云呐|固定资产计提折旧怎么算
- 8千多英语语法练习题ACCESS\EXCEL数据库
热门文章
- C++11中range-based for loops中与的区别
- file_operations结构
- Android权限申请的学习实践
- react native中一次错误排查 Error:Error: Duplicate resources
- 高效运维最佳实践:如何做好On-call和事故响应?
- easyui---修改删除查询
- Item 9 Always override hashCode when you override equals HASHMAP扩展
- 烂泥:为KVM虚拟机添加网卡
- 记录Docker in Docker 安装(CentOS7)
- 《C语言点滴》一1.5 内功修炼