Python爬取boss直聘关于python招聘数据，高薪总是让人那么羡慕

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

开发工具

Python 3.6.5
Pycharm

import requests
import parsel
import csv
import time

网页数据分析

如图所示，这些数据都是今天要获取的内容

一、打开开发者工具

可以看网页给我们返回的数据，复制数据，到response里面搜索，看请求网页返回的数据当中是否有需要的数据。

import requests # pip install requests
url = 'https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1'
headers = {}  # headers 复制开发者工具当中的即可
response = requests.get(url=url, params=params, headers=headers)
print(response.text)

二、分析网页数据结构

选择开发者工具中的 Elements 选择箭头选择网页的数据，会自动跳转到网页标签中，告诉你这个数据是在网页标签里面的哪个位置。

如上图所示，每个企业招聘的数据都在 li 标签里面，我们只需要通过数据解析，提取所需要的数据即可。

import parsel # pip install parsel
response.encoding = response.apparent_encoding
selector = parsel.Selector(response.text)
lis = selector.css('#main .job-list ul li') # 获取所有li标签
'''
通过获取网页中所有li标签，然后循环遍历，再分别提取li标签中所需要的数据
'''
dit = {}
# 创建一个字典接受数据，方便后续保存数据
for li in lis:title = li.css('.job-name a::attr(title)').get()  # 标题dit['标题'] = titlearea = li.css('.job-area::text').get()  # 地区dit['地区'] = areaxz_info = li.css('.red::text').get()    # 薪资dit['薪资'] = xz_infoxl_list = li.css('.job-limit p::text').getall()     # 学历经验xl_str = '|'.join(xl_list)dit['学历经验'] = xl_strjs_list = li.css('.tags span::text').getall()   # 技能要求js_str = '|'.join(js_list)dit['技能要求'] = js_strcompany = li.css('.company-text .name a::attr(title)').get()    # 公司名字dit['公司名字'] = companygz_info = li.css('.company-text p::text').getall()    # 工作类型gz_str = '|'.join(gz_info)dit['工作类型'] = gz_strfl_info = li.css('.info-desc::text').get()  # 福利dit['福利'] = fl_info

三、数据保存

import csv
# 创建文件
f = open('Boos直聘数据.csv', mode='a', encoding='utf-8-sig', newline='')
# 表头信息
csv_writer = csv.DictWriter(f, fieldnames=['标题', '地区', '薪资', '学历经验', '技能要求', '公司名字', '工作类型', '福利'])
# 写入表头
csv_writer.writeheader()
'''
然后再把之前创建的接受数据的字典，保存即可
'''
csv_writer.writerow(dit) # 写到for循环内

四、多页爬取

'''
https://www.zhipin.com/c100010000/?query=python&page=1&ka=page-1
https://www.zhipin.com/c100010000/?query=python&page=2&ka=page-2
https://www.zhipin.com/c100010000/?query=python&page=3&ka=page-3
'''

每一页的改变都是通过page参数的变化~·

for page in range(1, 10):url = 'https://www.zhipin.com/c100010000/?query=python&page={}&ka=page-{}'.format(page)

这样就可以实现翻页爬取的效果了！

实现效果

这就是文章以上所有内容了~

喜欢的话，可以点赞哈 O(∩_∩)O~~

有不懂的地方也可以私信我或者评论

Python爬取boss直聘关于python招聘数据，高薪总是让人那么羡慕相关推荐

python爬取boss直聘招聘信息_Python 爬取boss直聘招聘信息！
原标题:Python 爬取boss直聘招聘信息! 1.一些公共方法的准备获取数据库链接: importpymysql ''' 遇到不懂的问题?Python学习交流群:821460695满足你的需求, ...
python爬虫教程：Scrapy框架爬取Boss直聘网Python职位信息的源码
今天小编就为大家分享一篇关于Scrapy框架爬取Boss直聘网Python职位信息的源码,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧分析使用Crawl ...
使用python爬取BOSS直聘岗位数据并做可视化（Boss直聘对网页做了一些修改，现在的代码已经不能用了）
使用python爬取BOSS直聘岗位数据并做可视化结果展示首页岗位信息岗位详情薪资表学历需求公司排名岗位关键词福利关键词代码展示爬虫代码一.导入库二.爬取数据 1.爬取数据代 ...
python爬取boss直聘招聘信息_年底啦，利用Python爬取Boss直聘的招聘信息，为明年跳槽做准备...
原标题:年底啦,利用Python爬取Boss直聘的招聘信息,为明年跳槽做准备前言为什么都说程序员的薪资高,但是刚开始入职的你,薪资并不是自己想象中的那样,首先是你的工作经验不足,其次就是需要不断的 ...
python爬取boss直聘招聘信息_Python爬虫实战-抓取boss直聘招聘信息
Python Python开发 Python语言 Python爬虫实战-抓取boss直聘招聘信息实战内容:爬取boss直聘的岗位信息,存储在数据库,最后通过可视化展示出来 PS注意:很多人学Pyth ...
python爬取boss直聘招聘信息_python学习之路-爬取boss直聘的岗位信息
背景想了解从事python相关岗位需要具备什么技能,于是就想从招聘网站上的职位需求入手,把信息获取下来后,生成词云,这样就能很直观的看出来哪些技能是python相关岗位需要具备的了. 技术概览 sc ...
【数据分析项目实战】Python爬取BOSS直聘岗位和数据分析
说明:这是一个数据分析项目全流程(附带项目实例),本篇教程来源于网络,胖哥对此进行了完整的梳理,并把用到的数据+代码完全奉上.如需数据+完整代码可以直接到文章最后获取. 这里面的数据,我只爬取了部分, ...
python 爬取boss直聘招聘信息实现
1.一些公共方法的准备获取数据库链接: import pymysql ''' 遇到不懂的问题?Python学习交流群:1136201545满足你的需求,资料都已经上传群文件,可以自行下载! ''' ...
python爬取boss直聘招聘信息_Python笔记-爬取Boss直聘的招聘信息
2018-05-09笔记: 最近迷上了爬虫,爬取招聘信息,存在MongoDB上代码思路和上一篇爬取酷狗TOP500差不多,但是在使用CSS选择器的时候,有两组信息是连在一起,所以使用正则来获取本来 ...