python网络爬虫基础知识_Python网络爬虫基础知识
一、网络爬虫
网络爬虫又被称为网络蜘蛛,我们可以把互联网想象成一个蜘蛛网,每一个网站都是一个节点,我们可以使用一只蜘蛛去各个网页抓取我们想要 的资源。举一个最简单的例子,你在百度和谷歌中输入‘Python',会有大量和Python相关的网页被检索出来,百度和谷歌是如何从海量的网页中检索 出你想要的资源,他们靠的就是派出大量蜘蛛去网页上爬取,检索关键字,建立索引数据库,经过复杂的排序算法,结果按照搜索关键字相关度的高低展现给你。
千里之行,始于足下,我们从最基础的开始学习如何写一个网络爬虫,实现语言使用Python。
二、Python如何访问互联网
想要写网络爬虫,第一步是访问互联网,Python如何访问互联网呢?
在Python中,我们使用urllib包访问互联网。 (在Python3中,对这个模块做了比较大的调整,以前有urllib 和urllib2,在3中对这两个模块做了统一合并,称为urllib包。包下面包含了四个模 块,urllib.request,urllib.error,urllib.parse,urllib.robotparser) ,目前主要使用的是urllib.request。
我们首先举一个最简单的例子,如何获取获取网页的源码:
importurllib.request
response= urllib.request.urlopen('https://docs.python.org/3/')
html=response.read()print(html.decode('utf-8'))
三、Python网络简单使用
首先我们用两个小demo练一下手,一个是使用python代码下载一张图片到本地,另一个是调用百度翻译写一个翻译小软件。
3.1根据图片链接下载图片,代码如下:
importurllib.request
response= urllib.request.urlopen('http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg')
image=response.read()
with open('123.jpg','wb') as f:
f.write(image)
其中response是一个对象
输入: response.geturl()
->'http://www.3lian.com/e/ViewImg/index.html?url=http://img16.3lian.com/gif2016/w1/3/d/61.jpg'
输入:
response.info()
->
输入: print(response.info())
->Content-Type: text/html
Last-Modified: Mon, 27 Sep 2004 01:23:20 GMT
Accept-Ranges: bytes
ETag: "0f4b59230a4c41:0"
Server: Microsoft-IIS/8.0
Date: Sun, 14 Aug 2016 07:16:01 GMT
Connection: close
Content-Length: 2827
输入: response.getcode()
->200
3.1使用有道词典实现翻译功能
我们想实现翻译功能,我们需要拿到请求链接。首先我们需要进入有道首页,点击翻译,在翻译界面输入要翻译的内容,点击翻译按钮,就会向服务器发起一个请求,我们需要做的就是拿到请求地址和请求参数。
我在此使用谷歌浏览器实现拿到请求地址和请求参数。首先点击右键,点击检查 (不同浏览器点击的选项可能不同,同一浏览器的不同版本也可能不同) ,进入图一所示,从中我们可以拿到请求请求地址和请求参数,在Header中的Form Data中我们可以拿到请求参数。
(图一)
代码段如下:
importurllib.requestimporturllib.parse
url= 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data={}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data= urllib.parse.urlencode(data).encode('utf-8')
response=urllib.request.urlopen(url,data)
html= response.read().decode('utf-8')print(html)
上述代码执行如下:
{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"i love you","tgt":"我爱你"}]],"smartResult":{"type":1,"entries":["","我爱你。"]}}
对于上述结果,我们可以看到是一个json串,我们可以对此解析一下,并且对代码进行完善一下:
importurllib.requestimporturllib.parseimportjson
url= 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data={}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data= urllib.parse.urlencode(data).encode('utf-8')
response=urllib.request.urlopen(url,data)
html= response.read().decode('utf-8')
target=json.loads(html)print(target['translateResult'][0][0]['tgt'])
四、规避风险
服务器检测出请求不是来自浏览器,可能会屏蔽掉请求,服务器判断的依据是使用‘User-Agent',我们可以修改改字段的值,来隐藏自己。代码如下:
importurllib.requestimporturllib.parseimportjson
url= 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data={}
data['type'] = 'AUTO'data['i'] = 'i love you'data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data= urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response=urllib.request.urlopen(url, data)
html= response.read().decode('utf-8')
target=json.loads(html)print(target['translateResult'][0][0]['tgt'])
View Code
上述做法虽然可以隐藏自己,但是还有很大问题,例如一个网络爬虫下载图片软件,在短时间内大量下载图片,服务器可以可以根据IP访问次数判断是否 是正常访问。所有上述做法还有很大的问题。我们可以通过两种做法解决办法,一是使用延迟,例如5秒内访问一次。另一种办法是使用代理。
延迟访问(休眠5秒,缺点是访问效率低下):
importurllib.requestimporturllib.parseimportjsonimporttimewhileTrue:
content= input('please input content(input q exit program):')if content == 'q':break;
url= 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=dict2.index'data={}
data['type'] = 'AUTO'data['i'] =content
data['doctype'] = 'json'data['xmlVersion'] = '1.8'data['keyfrom'] = 'fanyi.web'data['ue'] = 'UTF-8'data['action'] = 'FY_BY_CLICKBUTTON'data['typoResult'] = 'true'data= urllib.parse.urlencode(data).encode('utf-8')
req=urllib.request.Request(url, data)
req.add_header('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
response=urllib.request.urlopen(url, data)
html= response.read().decode('utf-8')
target=json.loads(html)print(target['translateResult'][0][0]['tgt'])
time.sleep(5)
View Code
代理访问:让代理访问资源,然后讲访问到的资源返回。服务器看到的是代理的IP地址,不是自己地址,服务器就没有办法对你做限制。
步骤:
1,参数是一个字典{'类型' : '代理IP:端口号' } //类型是http,https等
proxy_support = urllib.request.ProxyHandler({})
2,定制、创建一个opener
opener = urllib.request.build_opener(proxy_support)
3,安装opener(永久安装,一劳永逸)
urllib.request.install_opener(opener)
3,调用opener(调用的时候使用)
opener.open(url)
五、批量下载网络图片
图片下载来源为煎蛋网(http://jandan.net)
图片下载的关键是找到图片的规律,如找到当前页,每一页的图片链接,然后使用循环下载图片。下面是程序代码(待优化):
importurllib.requestimportosdefurl_open(url):
req=urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0')
response=urllib.request.urlopen(req)
html=response.read()returnhtmldefget_page(url):
html= url_open(url).decode('utf-8')
a= html.find('current-comment-page') + 23b= html.find(']',a)returnhtml[a:b]deffind_image(url):
html= url_open(url).decode('utf-8')
image_addrs=[]
a= html.find('img src=')while a != -1:
b= html.find('.jpg',a,a + 150)if b != -1:
image_addrs.append(html[a+9:b+4])else:
b= a + 9a= html.find('img src=',b)for each inimage_addrs:print(each)returnimage_addrsdefsave_image(folder,image_addrs):for each inimage_addrs:
filename= each.split('/')[-1]
with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_girls(folder = 'girlimage',pages = 20):
os.mkdir(folder)
os.chdir(folder)
url= 'http://jandan.net/ooxx/'page_num=int(get_page(url))for i inrange(pages):
page_num-=i
page_url= url + 'page-' + str(page_num) + '#comments'image_addrs=find_image(page_url)
save_image(folder,image_addrs)if __name__ == '__main__':
download_girls()
python网络爬虫基础知识_Python网络爬虫基础知识相关推荐
- python网络爬虫的特点_Python网络爬虫(一)- 入门基础
目录: 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程 ...
- python网络爬虫文献综述_python网络爬虫综述
本文主要是个人python学习过程中的碎碎念想,希望对感兴趣的童鞋有所帮助. 百度百科上网络爬虫的定义是:"网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者 ...
- python网络爬虫资源库名_Python网络爬虫
网友NO.524767 Python网络爬虫与信息提取(实例讲解) 课程体系结构: 1.Requests框架:自动爬取HTML页面与自动网络请求提交 2.robots.txt:网络爬虫排除标准 3.B ...
- python爬虫实践报告_Python网络爬虫从入门到实践
本书讲解了如何使用Python编写网络爬虫,涵盖爬虫的概念.Web基础.Chrome.Charles和Packet Capture抓包.urllib.Requests请求库.lxml.Beautifu ...
- 爬虫python爬取页面请求_Python网络爬虫第三弹《爬取get请求的页面数据》
一.urllib库 urllib是Python自带的一个用于爬虫的库,其主要作用就是可以通过代码模拟浏览器发送请求.其常被用到的子模块在Python3中的为urllib.request和urllib. ...
- python爬虫实践目的_Python编写爬虫实践
爬虫的基本流程 网络爬虫的基本工作流程如下: 首先选取一部分精心挑选的种子URL 将种子URL加入任务队列 从待抓取URL队列中取出待抓取的URL,解析DNS,并且得到主机的ip,并将URL对应的网页 ...
- python套接字编程_Python网络编程 Python套接字编程
Python 提供了两个级别访问的网络服务. 低级别的网络服务支持基本的 Socket,它提供了标准的 BSD Sockets API,可以访问底层操作系统Socket接口的全部方法. 高级别的网络服 ...
- python队列来做什么_python分布式爬虫中的消息队列是什么?
当排队等待人数过多的时候,我们需要设置一个等待区防止秩序混乱,同时再有新来的想要排队也可以呆在这个地方.那么在python分布式爬虫中,消息队列就相当于这样的一个区域,爬虫要进入这个区域找寻自己想要的 ...
- python网络套接字_Python网络编程 Python套接字编程
Python 提供了两个级别访问的网络服务. 低级别的网络服务支持基本的 Socket,它提供了标准的 BSD Sockets API,可以访问底层操作系统Socket接口的全部方法. 高级别的网络服 ...
- python学完面向对象之后_Python学完基础语法后,再往后应该学什么?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 第一阶段:Python语言及应用 课程内容:Python语言基础,面向对象设计,多线程编程,数据库交互技术,前端特效,Web框架,爬虫框架,网络编程 掌握 ...
最新文章
- 我的世界java版双海底神殿种子_我的世界海底神殿种子2021
- php一个星期没找到工作怎么办_高校开学推迟,校园招聘遥遥无期,还没找到工作的应届生怎么办?...
- 记录一下(session共享的文章,wcf记录一下学习地址,Firebug)
- 【转载】世界各地对BI的应用状况
- 要打造一款稳定顺滑、火遍全球的游戏?云将成为你的坚实后盾
- Android 系统(217)---通过NITZ获取时区出错
- 八 理解各种不同含义的new和delete
- 我错了——虚拟光驱 for linux
- 《SQL Server2008》第二章 创建和管理数据库
- 破解visio2013记录
- 详解最实用的几种dll注入方式
- Redis的优点和缺点
- 注册表去掉多余的安全删除硬件图标
- Spark Steaming流式日志过滤与分析
- python语言编程培训班价值有多大?
- python基础训练—字符串
- Java内存管理:Java内存区域 JVM运行时数据区
- matlab绘制图形hold on_MATLAB中hold on和figure的区别?画三维图为什么一定要meshgrid?...
- 通过OSG实现对模型的日照模拟
- 网易考拉API接口测试
热门文章
- Golang 协程goroutine的调度模型-MPG模式
- Play Framework入门引导
- Spring AOP编程-传统基于aspectJ切点AOP开发
- 基于 abp vNext 和 .NET Core 开发博客项目 - 自定义仓储之增删改查
- VS2015编译MuPDF 1.13.0源码(详细)
- Qt QWidget实现手势缩放和平移(一)
- 4.1.6 OS之文件的基本操作原理(创建、删除、打开、关闭、读-写)
- 3.3.1网络原理数据链路层之差错控制(检错编码和纠错编码)-(奇偶校验码、CRC循环冗余码、海明码)
- 版本控制系统 之一 概念、分类、常见版本控制系统(CVS、SVN、BitKeeper、Git 等)
- LwIP 之六 详解动态内存管理 内存池(memp.c/h)