python应用实践之boss数据获取

boos直聘，想必对于找工作的同志都非常熟悉，以其＇招人快人才多匹配准公开透明＇等优点位居行业的前沿，今天我们就用scrapy框架配合selenium进行岗位，薪资．待遇，公司等信息进行爬取。boss直聘网站: www.zhipin.com
我想爬取过这个网站的同学都知道他的反爬还是很讨厌的，信息都是用cookies渲染生成的，cookies时效很短，很快就失效了，快速访问还会封掉你的ip ，封了ip第一反映就使用代理吧，有时候使用代理你就会发现，会提示ip异常，然后进验证并且需要接入接码平台了。当然这些都是在获取比较详细的信息的前提下，如果我们只是访问首先信息就没有那么大的难度了，这种情况下我们就直接加上代理IP就搞定了。不过也需要高质量的代理IP才可以，比如由亿牛云提供的隧道IP，我们可以示例下使用隧道IP获取数据的成功率是什么样的。简单示例如下：

#! -*- encoding:utf-8 -*-import base64            import sysimport randomPY3 = sys.version_info[0] >= 3def base64ify(bytes_or_str):if PY3 and isinstance(bytes_or_str, str):input_bytes = bytes_or_str.encode('utf8')else:input_bytes = bytes_or_stroutput_bytes = base64.urlsafe_b64encode(input_bytes)if PY3:return output_bytes.decode('ascii')else:return output_bytesclass ProxyMiddleware(object):                def process_request(self, request, spider):# 代理服务器(产品官网 www.16yun.cn)proxyHost = "t.16yun.cn"proxyPort = "31111"# 代理验证信息proxyUser = "username"proxyPass = "password"request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)# 添加验证头encoded_user_pass = base64ify(proxyUser + ":" + proxyPass)request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass                    # 设置IP切换头(根据需求)tunnel = random.randint(1,10000)request.headers['Proxy-Tunnel'] = str(tunnel)
```这里的代码示例只是给大家分享了代理在爬虫程序中的实现过程，数据获取的详细代码下次可以分享出来有需要的同学可以参考下。代理在数据爬取过程中也是很重要的一部分，不同的网站对IP的需求有差别，只要是有价值的网站对IP的需求肯定比较高的，比较靠谱的代理商中推荐亿牛云代理IP。

python应用实践之boss数据获取相关推荐

Python财经实践，股票数据获取及可视化展示
来源:志斌的python笔记今天跟大家分享一下,如何将获取股票数据以及将数据进行可视化展示. 01 股票数据获取这次跟大家分享一种不需要爬虫就可以获取股票数据的方式.Python有一个第三方库-T ...
python爬虫实践报告_Python 爬虫实践：浅谈数据分析岗位
原标题:Python 爬虫实践:浅谈数据分析岗位转自:法纳斯特讲道理,pyspider确实是一款优秀的爬虫框架,我们可以利用它快速方便地实现一个页面的抓取. 不过带来便捷性的同时,也有它的局限性, ...
python实训总结报告书_20172304 实验四python综合实践报告
20172304 实验四python综合实践报告姓名:段志轩学号:20172304 指导教师:王志强课程:Python程序设计实验时间:2020年5月13日至2020年6月14日实验分析本 ...
Python机器学习实践指南pdf （中文版带书签）、原书代码、数据集
Python机器学习实践指南目录第1章Python机器学习的生态系统 1 1．1 数据科学/机器学习的工作流程 2 1．1．1 获取 2 1．1．2 检查和探索 2 1．1．3 清 ...
免费教材丨第55期：Python机器学习实践指南、Tensorflow 实战Google深度学习框架
小编说时间过的好快啊,小伙伴们是不是都快进入寒假啦?但是学习可不要落下哦! 本期教材本期为大家发放的教材为:<Python机器学习实践指南>.<Tensorflow 实战G ...
分享：Python fabric实践操作
Python fabric实践操作 http://my.oschina.net/guol/blog/97607
python最佳实践笔记
本文为阅读Python最佳实践指南后的心得体会结构 README.rst LICENSE setup.py requirements.txt sample/__init__.pycore.pyhel ...
python程序设计实践教程答案-Python程序设计实践教程
书名:Python程序设计实践教程定价:29.8 ISBN:9787115532602 作者:储岳中薛希玲版次:*1版出版时间:2020-04 内容提要: 本书是Python语言程序设计的配套 ...
Python自动化实践
*** Python自动化实践 *** 1.为什么要写代码实现接口自动化大家知道很多接口测试工具可以实现对接口的测试,如postman.jmeter.fiddler等等,而且使用方便,那么为什么还要 ...

python应用实践之boss数据获取

python应用实践之boss数据获取相关推荐

最新文章

热门文章