agent python实现 建模_零基础三天学会Python爬虫(第二天)
一、Python与urllib2
现在已经迫不及待的想尝试一下url和网络爬虫的配合关系了。我们上一届已经介绍过了,爬虫就是把URL地址中的网络资源读取出来,然后处理(保存到本地,或者打印等等)。本篇文章篇幅较长,其中会有爬虫的小案例,想要学习的小伙伴耐心看。
如果我们想将爬虫落实到代码上,需要用到的是一个组件:urllib2
它就是Python获取URL的一个组件
我们首先创建一个urllib2_test01.py然后输入以下代码:
import urllib2
response = urllib2.urlopen('http://www.baidu.com')
html = response.read()
print html
Quite Easy!最简单的获取一个url的信息代码只需要4行!
执行写的Python代码:
python urllib2_test.py
会看到以下结果:
<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=Edge"><meta content="always" name="referrer"><meta name="theme-color" content="#2932e1"><link rel="shortcut icon" href="/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" title="百度搜索" /><link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu.svg"><link rel="dns-prefetch" href="//s1.bdstatic.com"/><link rel="dns-prefetch" href="//t1.baidu.com"/><link rel="dns-prefetch" href="//t2.baidu.com"/><link rel="dns-prefetch" href="//t3.baidu.com"/><link rel="dns-prefetch" href="//t10.baidu.com"/><link rel="dns-prefetch" href="//t11.baidu.com"/><link rel="ds-prefetch" href="//t12.baidu.com"/><link rel="dns-prefetch" href="//b1.bdstatic.com"/><title>百度一下,你就知道</title>.
实际上如果我们在浏览器上打开百度首页,右键选择“查看源代码”,就会发现,跟我们刚才打印出来的是一模一样的。也就是说,上面的4行代码就已经帮我们把百度的首页全部代码爬了下来了。
下面来分析一下这4行代码:
import urllib2
没什么好多说的,上面这行代码就是将urllib2组件引入进来,供给我们使用。
response = urllib2.urlopen('http://www.baidu.com')
然后调用urllib2库中的urlopen方法,该方法接受一个url地址,然后将请求后的得到的回应封装到一个叫response对象中。
html = response.read()
然后调用response对象的read()方法,将请求的回应内容以字符串的形式给html变量。
最后的print html就是将字符串打印出来。
所以说一个基本的url请求是对应的python代码是非常简单的。
当然还有第二种写法,先通过将一个url地址转换成一个Request请求对象,再将Request请求对象作为参数传递给urlopen方法。
import urllib2req = urllib2.Request('百度一下,你就知道')
response = urllib2.urlopen(req)
my_page = response.read()print my_page
但是这样直接用Python的urllib2给一个网站发送请求的话,确实有写唐突了。这就好比是,人家每家都有个门,你以一个路人的身份直接闯进去显然不是很礼貌,有可能对于有的网站会拒绝你的请求。
但是如果我们用一个合法的身份去请求别人的网站,显然人家就会很欢迎。
所以我们就应该给我们的这个代码加上一个身份,就是所谓的User-Agent头
what?如果你之前不是学习前端的,这个东西确实对于C或者后端工程师来说是一个很头疼的东西,不过不要紧,不是我们的东西这里只做了解即可。
我只需要告诉你一句话,就是你用不同的浏览器在发送请求的时候,会有不同的User-Agent头。
浏览器就是世界上被允许的身份。那么如果你不想你的爬虫代码成为一个路人,你需要伪装成一个被公认的浏览器。
伪装的办法当然就是给自己的请求加上一个对应的User-Agent头啦。
下面我们编辑urllib2_test03.py:
import urllib2
#我们要请求的url地址
url = "百度一下,你就知道"
#我们要伪装的浏览器user-agent头
user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Tr
ident/5.0;' #IE 9.0
#创建一个字典,使请求的headers中'User-Agent':对应我们user_agent字符串
headers = {'User-Agent':user_agent}
#新建一个请求,需要将请求中的headers变量换成我们刚才创建好的headers
req = urllib2.Request(url, headers = headers)
#请求服务器,得到回应
response = urllib2.urlopen(req)
#得到回应的内容
the_page = response.read()
#将内容打到屏幕上
print the_page
以上就是url的一个基本的操作,那么如果你想实现一个简单的爬虫这些就足够了。但是如果你想深入的去了解urllib2的其他操作,显然这个教程不能满足你,可以私信或者是留言找我获取urllib2的其他相关教程。
下一个阶段我们继续介绍有关urllib2的知识,而且最后如何得到一个精简的小爬虫程序。
二、百度贴吧小爬虫
首先我们创建一个python文件,tieba_spider.py
我们要完成耳朵是输入一个百度贴吧的网址,比如:
LOL吧第一页:http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
这个是lol吧的第一个url地址,如果打开第二页,你会发现他的url如下:
LOL吧第二页:http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
LOL吧第三页:lol吧-百度贴吧--第一手电竞资讯/英雄攻略/尽在LOL吧
可以从中发现规律了吧,贴吧中每个页面不同,url出来最后的pn的值,其余的都是一样的,我们可以抓住这个规律。
简单恶写一个小爬虫程序,来爬取百度LOL吧的所有网页。
上一届我们已经写出了一个爬取一个网页的代码。
现在,我们将它封装成一个小函数load_page,供我们来使用。
def load_page(url):'''@brief 通过URL请求爬取到html静态页面源代码@param url 要爬取的url地址@returns源代码'''req = urllib2.Request(url)response = urllib2.urlopen(req)html = response.read()return html
接下来,我们写一个百度贴吧爬虫接口,我们需要传递3个参数给这个接口。
一个是我们要爬取的url地址,和要爬取页码的范围。
def tieba_spider(url, begin_page, end_page):'''@brief 百度贴吧爬虫核心程序@param url 要爬取的url地址@param begin_page 爬虫贴吧的起始页数@param end_page 爬虫贴吧的终止页数'''user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT
6.1; Trident/5.0;' #IE 9.0headers = {'User-Agent':user_agent}for i in range(begin_page, end_page+1):#根据百度贴吧的url中的页码pn规律# 当你打开第一页 pn = 0# 当你打开第二页 pn = 50# 当你打开第三页 pn = 100# 当你打开第四页 pn = 150 -0# ....# 所以 pn = 50* (page-1)pn = 50 * (i - 1)html = load_page(url+str(pn))
最后如果我们希望将爬取到的每页的信息存储在本地磁盘上,我们可以简单写一个存储文件的接口。
def write_file(file_name, text):'''@brief 将字符串内容写到文件中@param file_name 文件路径@param text 要写进的字符串'''print '正在存储文件' + file_namef = open(file_name, 'w+')f.write(text)f.close
ok,接下来就是写一个main函数,然后提示用户输入即将爬取的百度贴吧url地址。
注意:百度贴吧最后页码” pn=??? “中的 ??? 为我们传入的页码参数,所以我们再提供的
时候不能包括 ??? )
if __name__ == '__main__':bdurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))begin_page = int(raw_input('请输入开始的页数'))end_page = int(raw_input('请输入结束的页数'))tieba_spider(bdurl, begin_page, end_pag
综上所述,全部的完整代码应该如下:
# -*- coding: utf-8 -*-
#-------------------------
# 百度贴吧小爬虫
# 作者:无崖子
# 日期:2016-3-2
# sys: mac os
# python 2.7.6
# os: mac
#-------------------------import urllib2def write_file(file_name, text):'''@brief 将字符串内容写到文件中@param file_name 文件路径@param text 要写进的字符串'''print '正在存储文件' + file_namef = open(file_name, 'w+')f.write(text)f.close()def load_page(url):'''@brief 通过URL请求爬取到html静态页面源代码@param url 要爬取的url地址@returns源代码'''req = urllib2.Request(url)response = urllib2.urlopen(req)html = response.read()return htmldef tieba_spider(url, begin_page, end_page):'''@brief 百度贴吧爬虫核心程序@param url 要爬取的url地址@param begin_page 爬虫贴吧的起始页数@param end_page 爬虫贴吧的终止页数'''user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT
6.1; Trident/5.0;' #IE 9.0headers = {'User-Agent':user_agent}for i in range(begin_page, end_page+1):#根据百度贴吧的url中的页码pn规律# 当你打开第一页 pn = 0# 当你打开第二页 pn = 50# 当你打开第三页 pn = 100# 当你打开第四页 pn = 150 -0# ....# 所以 pn = 50* (page-1)pn = 50 * (i - 1)html = load_page(url+str(pn))file_name = str(i) +'.html'print '正在下载第' + str(i) + '个网页'write_file(file_name, html)if __name__ == '__main__':bdurl = str(raw_input('请输入贴吧的地址, 去掉pn=后面的数字:'))begin_page = int(raw_input('请输入开始的页数'))end_page = int(raw_input('请输入结束的页数'))tieba_spider(bdurl, begin_page, end_page)
好了,最后我们来测试一下咱们的小爬虫。
输入lol吧的地址 ” http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= ”
注意:=号后面不要加数字,因为我们要自动添加
ocalhost:spider ldb$ python tieba_spider.py
请输入贴吧的地址, 去掉pn=后面的数字:http://tieba.baidu.com/f?kw=lol&ie=u
tf-8&pn=
请输入开始的页数5
请输入结束的页数10
正在下载第5个网页
正在存储文件5.html
正在下载第6个网页
正在存储文件6.html
正在下载第7个网页
正在存储文件7.html
正在下载第8个网页
正在存储文件8.html
正在下载第9个网页
正在存储文件9.html
正在下载第10个网页
正在存储文件10.html
最后会发现当前路径下会有几个html页面,分别对应贴吧中对应的网页。
这样一个简单的爬虫程序就搞定了。
这就是今天的全部内容,学过之后快拿到你所需用的贴吧来测试检验一下你是否学会了吧。明天我们将开始正则表达式的全部内容。
agent python实现 建模_零基础三天学会Python爬虫(第二天)相关推荐
- python学会爬虫要多久_零基础三天学会Python爬虫(第二天)
一.Python与urllib2 现在已经迫不及待的想尝试一下url和网络爬虫的配合关系了.我们上一届已经介绍过了,爬虫就是把URL地址中的网络资源读取出来,然后处理(保存到本地,或者打印等等).本篇 ...
- python实现表格_零基础小白怎么用Python做表格?
用Python操作Excel在工作中还是挺常用的,因为毕竟不懂Excel是一个用户庞大的数据管理软件.本文用Python3!在给大家分享之前呢,小编推荐一下一个挺不错的交流宝地,里面都是一群热爱并在学 ...
- python数据分析考点_零基础30天入门python数据分析|知识点整理
-某编程大学本硕 -立志成为独当一面的数据分析喵 -关注我
- python程序元素分析_荐 小学生三分钟学会Python程序语法元素分析~总结笔记
Python程序语法元素分析 前言:朕今年在读大二,苦逼学python,写博客为了更好的总结知识,每次写博客可能要花费几个小时,或者更多时间来总结知识,如果你觉得文章对你有帮助,可以在文章末尾点赞和评 ...
- 零基础如何入门python语言_零基础如何开始学习 Python
Python是一门简单优雅的计算机程序设计语言,相比于C语言.Java语言,Python编程具有以下特点: 1. Python语法简单,代码可读性高,容易入门: 2. Python代码具有一定的规范性 ...
- python问题分享_零基础入门Python常见问题分享
零基础入门Python常见问题有哪些?作为经常混迹在各大Python技术论坛的小编而言,见到最多的话题就是:学习Python难不难?零基础可以学习Python吗?如何学习Python?等等.今天小编就 ...
- python怎么做表格_零基础小白怎么用Python做表格?
用Python操作Excel在工作中还是挺常用的,因为毕竟不懂Excel是一个用户庞大的数据管理软件.本文用Python3!在给大家分享之前呢,小编推荐一下一个挺不错的交流宝地,里面都是一群热爱并在学 ...
- python难嘛-我没有基础,能否学会Python?Python难吗?
原标题:我没有基础,能否学会Python?Python难吗? 我没学过编程,能否学会Python? 肯定的回答您:完全能学会 其实,很多个程序员都是从不会到会,每种知识也是从基础到复杂,大家都是从零基 ...
- python手机教程_一张图带你学会Python,学习Python的非常简单,附教程
不过这张图是基于 Python 2 的(虽然影响也很小),所以我做了几个注释,也就是图上的几个数字,对内容做一点点补充说明: 关于编码,并不是一定要 UTF-8,而是要求"一致", ...
最新文章
- c语言杨辉三角的实现
- 《因果学习周刊》第5期:NeurIPS2021 因果发现最新进展
- 安卓 外部存储/ExternalStorage 的使用
- python之文件目录和路径
- VS2010 不能将参数 2 从“char [20]”转换为“LPCWSTR”的错误解决
- C语言实用算法系列之二级指针用法简介
- 和可被 K 整除的子数组
- 年薪30k-50k、面试通过率90%,这个职位到底是在做什么?
- 迷宫问题(信息学奥赛一本通-T1255)
- [转] @JoinColumn 详解 (javax.persistence.JoinColumn)
- 系统运行缓慢的问题定位步骤
- DOA算法3:Matrix Pencil
- EFI Driver Model(上)
- 面试官都爱问的java模式之建造者模式!!!
- matlab绘图:将图导出在ppt上使用的三维矢量图
- linux8086端口,8086/8088指令详解
- [转]LDO的地脚电流(GROUND CURRENT)和静态电流(QUIESCENT CURRENT)的区别是什么啊?
- 多态的向上转型与向下转型
- 广式月饼的做法(100g月饼制作教程)
- 2022年 HSC-1th中CRYPTO的LINE-GENERATION-TEST