Python开发技术—网络爬虫(代码在置顶文章）

第1关：urllib

任务描述

本关任务：使用python内置库urllib发起请求并返回状态码。

编程要求

根据提示，在右侧编辑器补充代码，对给定链接发送请求。请求成功时返回Status（状态码），失败时返回错误信息。
提示：使用以下格式可输出错误信息

try:…except Exception as e:…

测试说明

平台会对你编写的代码进行测试：

测试输入：http://www.gliet.edu.cn/

预期输出：

Status: 200 OK

测试输入：一个错误的url，不能请求成功

预期输出：

<urlopen error [Errno -2] Name or service not known>

开始你的任务吧，祝你成功！

Requests: HTTP for Humans

第2关：requests

任务描述

本关任务：使用python第三方库requests发起请求并返回状态码。

第3关：re

任务描述

本关任务：编写一个能匹配Email地址的正则小程序。

分组

除了简单地判断是否匹配之外，正则表达式还有提取子串的强大功能。用()表示的就是要提取的分组（Group）。比如：
^(\d{3})-(\d{3,8})$分别定义了两个组，可以直接从匹配的字符串中提取出区号和本地号码：

    >>> m = re.match(r’^(\d{3})-(\d{3,8})$’, ‘010-12345’)>>> m<_sre.SRE_Match object; span=(0, 9), match=’010-12345’>>>> m.group(0)‘010-12345’>>> m.group(1)‘010’>>> m.group(2)‘12345’

我们用分组匹配链接试试：

>>> re.match(‘‘, ‘‘).groups()(‘//tvax4.sinaimg.cn/mw600/5ed2d’,)

末尾为什么会有一个逗号呢？因为groups()返回的是一个分组列表（List）

贪婪匹配

最后需要特别指出的是，正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

>>> re.match(r’^(\d+)(0*)$’, ‘102300’).groups()(‘102300’, ‘’)

由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0只能匹配空字符串了。
必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配：

>>> re.match(r’^(\d+?)(0)$’, ‘102300’).groups()(‘1023’, ‘00’)

我们用贪婪匹配，匹配链接试试：

>>> re.match(r’^(t.)’, ‘tvax4.sinaimg.cn/mw600/5ed2d.jpg’).groups()‘tvax4.sinaimg.cn/mw600/5ed2d.jpg’>>> re.match(r’^(t.?)’, ‘tvax4.sinaimg.cn/mw600/5ed2d.jpg’).groups()‘t’

想了解更多正则知识，可参考：https://www.liaoxuefeng.com/wiki/1016959663602400/1017639890281664
正则表达式非常强大，要在短短的一节里讲完是不可能的。要讲清楚正则的所有内容，可以写一本厚厚的书了。如果你经常遇到正则表达式的问题，你可能需要一本正则表达式的参考书。

编程要求

根据提示，在右侧编辑器补充代码，成功匹配给定的Email地址并输出，如果匹配不到，输出None。

测试说明

平台会对你编写的代码进行测试：
测试输入：

10001@qq.com

预期输出：

<re.Match object; span=(0, 12), match='10001@qq.com'>

测试输入：

qq10001

预期输出：

None

第4关：BeautifulSoup 任务描述

本关任务：编写一个能爬取桂电就业信息的小程序。

环境配置

pip install Beautifulsoup4

Beautiful Soup在解析时实际是依赖解析器的，它除了支持python标准库中的HTML解析器外还支持第三方解析器如lxml等,推荐使用lxml.

安装解析器:

pip install lxml

基本使用

创建beautifulsoup对象

soup=BeautifulSoup(html,'lxml')

html: 可以为 str, 也可以是文件句柄fp

‘lxml’: 解析器, 需安装lxml包

节点选择器

直接调用节点的名称就可以选择节点元素，节点可以嵌套选择, 返回的类型都是bs4.element.Tag对象

soup.head  #获取head标签
soup.p.b #获取p节点下的b节点
soup.p.string #获取p标签下的文本

当同级有多个相同节点时, 节点选择器默认只选择第一个

使用find_all

find_all(name,attrs,recursive,text,**kwargs)

查询所有符合条件的元素，其中的参数:

参数	含义
name	表示可以查找所有名字为name的标签(tag)，也可以是过滤器，正则表达式，列表或者是True
attrs	表示传入的属性，可以通过attrs参数以字典的形式指定如常用属性id,attrs={‘id’:’123’}，由于class属性是python中的关键字，所有在查询时需要在class后面加上下划线即class_=’element’，返回的结果是tag类型的列表
text	用来匹配节点的文本，传入的形式可以是字符串也可以是正则表达式对象
recursive	如果只想搜索直接子节点可以将参数设为false：recursive=Flase
limit	可以用来限制返回结果的数量，与SQL中的limit关键字类似

find_all(条件)：查询所有符合条件的元素
查找标签名为 div 的所有元素

soup.find_all(name='div')   # name代表标签名,不是name属性
soup.find_all('div')      # 标签查找
#查找标签名为 li 或 a 的所有元素
soup.find_all(name = ['li', 'a'])
#查找 id 为 world 的所有元素
soup.find_all(id = 'world')
#查找 class 为 active 的 所有元素
soup.find_all(class_='active')  # class为python关键字,需加下划线
#查找 a 标签中,title 属性为 hello 的所有元素
soup.find_all('a', title='hello')  # 标签 加属性过滤
soup.find_all('a', title='hello', limit=2) # 限制输出, limit属性代表取前2个
#查找 a 标签中包含属性 id=’box’, class=’active’ 的所有元素
soup.find_all('a',attrs={'id':'box','class':'active'})  # 多属性过滤
#查找文本中能匹配字符串 hello 的所有元素
soup.find_all(text=re.compile('Tillie')) # 使用正则过滤查找

其他方法:

find( name , attrs , recursive , text , **kwargs )

它返回的是单个元素，也就是第一个匹配的元素，类型依然是tag类型,参数同find_all()一样
更多示例可以查看：
https://www.cnblogs.com/Deaseyy/p/11266742.html

例子（爬取先知社区的标题）

import requests
from bs4 import BeautifulSoup
import re    #Regular
url = 'https://xz.aliyun.com/'
r = requests.get(url=url)
soup = BeautifulSoup(r.content,'lxml')
bbs_news = soup.find_all(name ='a',attrs={'class':'topic-title'})
for new in bbs_news:print new.string.strip()

编程要求

爬取桂电招聘页面的招聘信息。
页面地址：https://www.guet.edu.cn/jy/zhaopin.jsp?a165823t=475&a165823p=1&a165823c=10&urltype=tree.TreeTempUrl&wbtreeid=1003
经过简单测试，可以发现，调整a165823p的数值可以改变页数，我们可以理解这个参数为page。调整a165823c的数值可以改变每一页显示的信息条数，我们可以理解这个参数为列。
由于页面会根据就业信息变化，为了方便设置题目，请同学们爬取给定日期的信息并显示出来。可能同学们做题的时候给定日期的信息已经不在第一页了，可以自己观察修改下。
提示：给定日期的信息不在一页怎么办？爬取两页就好了呀，用request请求2页并用BeautifulSoup爬取。

测试说明

平台会对你编写的代码进行测试：

测试输入：

2020-03-02；

预期输出：

教育部启动“24365校园联合招聘服务” 助力高校毕业生网上求职
步步高教育电子2020春季校园招聘
天津飞腾信息技术有限公司2020招聘简章
美国安费诺电子装配（厦门）有限公司招聘简章
实力央企——中国一冶  诚邀您共建美丽中国
中铁广州工程局集团第二工程有限公司2020年校园招聘公告
中国振华电子集团贵州振华风光半导体有限公司招聘简章
嘉瑞能源科技（深圳）有限公司招聘简章
北部湾财产保险股份有限公司信息技术岗位人员招聘启事

测试输入：

2020-02-28；

预期输出：

摩比集团2020届校园招聘简章
深圳市伊力科电源有限公司2020招聘简章
梦想即至 |科华恒盛2020届校园招聘简章
TP-LINK普联技术生产制造体系校园招聘
长安汽车2020春季校园招聘驭爱前行
广西翅冀钢铁有限公司招聘简章
广州朗国科技2020春季校招简章
上海特金信息科技招聘信息
光宝电源科技(东莞)有限公司招聘简章
深圳海云安网络安全技术有限公司招聘信息
德国M+P国际公司北京代表处2020年春季招聘
中国十五冶2020年校园招聘简章
中冶赛迪上海工程技术有限公司湛江分公司2020招聘简章

Python爬虫教学

第5关：requests+BeautifulSoup桂电毕业生就业网搜索结果提取

任务描述

本关任务：编写一个能爬取桂电毕业生就业网搜索结果的小程序。

设置headers头伪装浏览器

为什么要设置headers头信息？在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。
requests设置headers头实例

import requests
headers={"Host": "www.dianping.com"
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"
}
res=requests.get("http://www.dianping.com/",headers=headers)
print(res.text)

Python多线程爬虫
为什么需要多线程？凡事知其然也要知其所以然。在了解多线程的相关知识之前，我们先来看看为什么需要多线程。打个比方吧，你要搬家了，单线程就类似于请了一个搬家工人，他一个人负责打包、搬运、开车、卸货等一系列操作流程，这个工作效率可想而知是很慢的；而多线程就相当于请了四个搬家工人，甲打包完交给已搬运到车上，然后丙开车送往目的地，最后由丁来卸货。由此可见多线程的好处就是高效、可以充分利用资源，坏处就是各个线程之间要相互协调，否则容易乱套（类似于一个和尚挑水喝、两个和尚抬水喝、三个和尚没水喝的窘境）。所以为了提高爬虫效率，我们在使用多线程时要格外注意多线程的管理问题。我们可以使用队列（Queue）分页对目标进行爬取，这样目标有很多页的时候可以提高抓取数据效率。
Python使用实现多线程爬虫实例

from threading import Thread
class MyThread(Thread):def __init__(self):Thread.__init__(self)  #super(MyThread, self).__init__()def run(self):#write this thread taskpass
if __name__ == '__main__':thread = MyThread()thread.start()thread.join()

Python使用使用队列（Queue）实现多线程爬虫实例


from threading import Thread
from Queue import Queue
global my_queue
my_queue = Queue()
class MyThread1(Thread):def __init__(self):Thread.__init__(self)  #super(MyThread1, self).__init__()def run(self):put_data = "you producer data"my_queue.put(put_data)#write this thread taskpass
class MyThread2(Thread):def __init__(self):Thread.__init__(self)  #super(MyThread2, self).__init__()def run(self):get_data = my_queue.get()#write this thread taskpass
if __name__ == '__main__':thread1 = MyThread1()thread2 = MyThread2()thread1.start()thread2.start()thread1.join()thread2.join()

参考链接：

https://www.cnblogs.com/songzhenhua/p/11824483.html
https://blog.csdn.net/u013787595/article/details/49446291

编程要求

对桂电毕业生就业网的搜索结果进行爬取，得出详情链接以及企业名称
https://www.guet.edu.cn/jy/
上一关我们只爬取结果所在的页面，本关我们爬取所有页面。

提示：

虽然网站使用POST方式发送请求，但我们将参数放入URL依然能正常访问需要的页面。同学们也可以使用requests的post方式请求，看个人喜好。
经过观察发现lucenenewssearchkeyword参数为搜索的关键字，currentnum参数决定页数。

测试说明

平台会对你编写的代码进行测试：
Evidence函数的keyword参数为关键字，测试集会有2个不同输入，输出2019年10月23日关键字搜索结果的详情链接以及企业名称。

测试输入：深圳

预期输出：

https://www.guet.edu.cn/jy/info/1031/10496.htm

深圳市雅信通光缆有限公司来校参加双选会

https://www.guet.edu.cn/jy/info/1031/10495.htm

深圳市飞博康光通讯技术有限公司来校参加双选会

https://www.guet.edu.cn/jy/info/1031/10488.htm

深圳市慧为智能科技股份有限公司来校参加双选会

https://www.guet.edu.cn/jy/info/1031/10494.htm

深圳市拓普泰克电子有限公司来校参加双选会

https://www.guet.edu.cn/jy/info/1031/10508.htm

深圳市汇博数码电子科技有限公司来校参加双选会