python 爬虫 爬智联招聘的招聘要求
今天爬了智联招聘关于应聘python的要求，这个代码没什么讲的，和上一个一样，加的东西会在后面讲。可以把所在页面的所有招聘信息内部的招聘信息都抓到
from bs4 import BeautifulSoup
import requestsurl2 = 'http://sou.zhaopin.com/jobs/searchresult.ashx?kw=python&sm=0&p=1'
#print(res.text)
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
'Host':'sou.zhaopin.com',
}web_data = requests.get(url2, headers = headers)# print(web_data.text)
soup = BeautifulSoup(web_data.text,'html.parser')for i in soup.select('a'):# if i['href'][:24] == 'http://jobs.zhaopin.com/':
# print(i['href'])
try:if i['href'].startswith('http://jobs.zhaopin.com/'):info = requests.get(i['href'])infosoup = BeautifulSoup(info.text,'html.parser')for a in infosoup.select('.tab-inner-cont'):try:print(a.text)except KeyError:pass
except KeyError:pass
敲这个代码的过程中遇到的问题。
headers = {
'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
'Host':'sou.zhaopin.com',
}
在爬智联首页的时候，可以获得源代码，但到里面具体招聘页面的时候，发现总是返回错误的代码。原来是反爬虫，就要加一个代理。就是上面的headers
try:if i['href'].startswith('http://jobs.zhaopin.com/'):info = requests.get(i['href'])infosoup = BeautifulSoup(info.text,'html.parser')for a in infosoup.select('.tab-inner-cont'):try:print(a.text)except KeyError:pass
except KeyError:pass
这个是一直报一个KeyError的错误。然后收了一下答案，需要加一个异常，就是上面的try:......except KeyError: pass 就行了。
上面的代码，可以看因为是class所以爬下来的，不全是python应聘要求看下面
from lxml import html
import requests# page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
# tree = html.fromstring(page.content)
# #This will create a list of buyers:
# buyers = tree.xpath('//div[@title="buyer-name"]/text()')
# #This will create a list of prices
# prices = tree.xpath('//span[@class="item-price"]/text()')
#
# print ('Buyers: ', buyers)
# print ('Prices: ', prices)
page = requests.get("http://jobs.zhaopin.com/450575810250022.htm?ssidkey=y&ss=201&ff=03&sg=d382e8f6a66b4c9e800b41c98de68d55&so=1&uid=689899307")
tree = html.fromstring(page.content)
content = tree.xpath('//div[@class="tab-inner-cont"]/p/text()')
print(content)
这个代码经过试验。可以只爬pyhton招聘的部分。因为是xpath的方法。但是复制xpath。总是的得到空格。注释的是网上的代码。我就改了一下
//div[@class="tab-inner-cont"]/p/text()
事实证明，改过的是对的。不会发讨论吧。
python 爬虫 爬智联招聘的招聘要求相关推荐
- python爬虫获取智联招聘信息
智联招聘的页面信息是jsonp传输的数据,所以抓包或者正常爬取内容不可能的是,下面我将分享分析出来的数据并整体操作步骤.用谷歌浏览器打开网址,并打开检查,里面有network选项,包含这个网页的请求响 ...
- 用python抓取智联招聘信息并存入excel
用python抓取智联招聘信息并存入excel tags:python 智联招聘导出excel 引言:前一阵子是人们俗称的金三银四,跳槽的小朋友很多,我觉得每个人都应该给自己做一下规划,根据自己的进步 ...
- python爬虫爬猎聘网获取多条职责描述中有Linux需求的招聘信息
python爬虫爬猎聘网获取多条职责描述中有Linux需求的招聘信息 下列是我爬虫的作业 摘 要 随着现代化社会的飞速发展,网络上巨大信息量的获取给用户带来了许多的麻烦.由于工作和生活节奏的需求,人们 ...
- Python爬虫——爬取股票信息
Python爬虫--爬取股票信息 1. 准备工作 每一次浏览器访问网页,会自动向浏览器服务器发送本地的电脑信息(headers),远方服务器接收到信息后会反馈给你网页信息(response),然后电脑 ...
- 在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
- python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 搜索引擎用的很频繁,现在利用Python爬 ...
- python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
- python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有 文章存放在以其名字命名的文件内,代码如下 #coding:utf-8import urlli ...
- python网易云_用python爬虫爬取网易云音乐
标签: 使用python爬虫爬取网易云音乐 需要使用的模块 只需要requests模块和os模块即可 开始工作 先去网易云音乐网页版找一下你想要听的歌曲点击进去.按键盘F12打开网页调试工具,点击Ne ...
最新文章
- spring访问oracle数据库表,Spring访问oracle数据库配置步骤
- 《大道至简》第一章编程的精义伪代码读后感
- 他们说头不铁，别做机器人
- CTFshow 信息收集 web1
- 怎么给web 服务器 传文件,web文件传到服务器
- TQ2440+RealViewMDK调试LED跑马灯（成功！）
- uboot向linux传递输出任何log信息的方法
- 阅读之大量数据访问机器的架构优化
- 什么是COM组件以及怎样创建（C#）？
- android字节流保存,android数据存储之文件存储方法
- Android怎么更换背景色,Android App更改背景颜色
- win10无法新建文件夹怎么办？（已解决）
- 30分钟让你成为photoshop钢笔工具…
- ESP分区和MSR分区下怎么重做GHOST系统
- 企业微信api调用报50001错误
- 已解决：网易邮箱smtphz.qiye.163.com在阿里云环境发不出邮件的问题
- 解决旧笔记本电脑的ME固件的驱动安装程序不支持WIN10安装的方法
- Centos7 升级 glibc 教程，解决各种报错
- 在Linux上yum安装snmp,centos7配置安装snmp
- 深度优先搜索（DFS） + DFS的应用：字符串的排列问题