Python爬虫实战,pytesseract模块,Python实现BOOS直聘拉勾网岗位数据可视化
前言
利用Python实现BOOS直聘&拉勾网岗位数据可视化。废话不多说。
让我们愉快地开始吧~
开发工具
Python版本: 3.6.4
相关模块:
requests模块
pyspider模块;
pymysql模块;
pytesseract模块;
random模块;
re模块
以及一些Python自带的模块。
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
本次通过对BOSS直聘,拉勾网数据分析岗数据分析,了解数据分析岗的行业情况
网页分析
获取BOSS直聘索引页信息,主要是岗位名称、薪资、地点、工作年限、学历要求,公司名称、类型、状态、规模。
一开始是想对详情页分析的,还可以获取详情页里的工作内容和工作技能需求。
然后由于请求太多,就放弃了。索引页有10页,1页有30个岗位,一个详情页就需要一个请求,算起来一共有300个请求。
到了第2页(60个请求),就出现了访问过于频繁的警告。
而只获取索引页信息的话,只有10个请求,基本上没什么问题,外加也不想去鼓捣代理IP,所以来点简单的。
到时候做数据挖掘岗位的数据时,看看放慢时间能否获取成功。
获取拉勾网索引页信息,主要是岗位名称、地点、薪资、工作年限、学历要求,公司名称、类型、状态、规模,工作技能,工作福利。
网页为Ajax请求,采用PyCharm编写代码,轻车熟路。
数据获取
pyspider获取BOSS直聘数据
pyspider的安装很简单,直接在命令行pip3 install pyspider即可。
这里因为之前没有安装pyspider对接的PhantomJS(处理JavaScript渲染的页面)。
所以需要从网站下载下来它的exe文件,将其放入Python的exe文件所在的文件夹下。
最后在命令行输入pyspider all,即可运行pyspider。
在浏览器打开网址http://localhost:5000/,创建项目,添加项目名称,输入请求网址,得到如下图。
最后在pyspider的脚本编辑器里编写代码,结合左边的反馈情况,对代码加以改正。
脚本编辑器具体代码如下
from pyspider.libs.base_handler import *
import pymysql
import random
import time
import recount = 0class Handler(BaseHandler):# 添加请求头,否则出现403报错crawl_config = {'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}}def __init__(self):# 连接数据库self.db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='boss_job', charset='utf8mb4')def add_Mysql(self, id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people):# 将数据写入数据库中try:cursor = self.db.cursor()sql = 'insert into job(id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people) values ("%d", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s")' % (id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people);print(sql)cursor.execute(sql)print(cursor.lastrowid)self.db.commit()except Exception as e:print(e)self.db.rollback()@every(minutes=24 * 60)def on_start(self):# 因为pyspider默认是HTTP请求,对于HTTPS(加密)请求,需要添加validate_cert=False,否则599/SSL报错self.crawl('https://www.zhipin.com/job_detail/?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&scity=100010000&industry=&position=', callback=self.index_page, validate_cert=False)@config(age=10 * 24 * 60 * 60)def index_page(self, response):time.sleep(random.randint(2, 5))for i in response.doc('li > div').items():# 设置全局变量global countcount += 1# 岗位名称job_title = i('.job-title').text()print(job_title)# 岗位薪水job_salary = i('.red').text()print(job_salary)# 岗位地点city_result = re.search('(.*?)<em class=', i('.info-primary > p').html())job_city = city_result.group(1).split(' ')[0]print(job_city)# 岗位经验experience_result = re.search('<em class="vline"/>(.*?)<em class="vline"/>', i('.info-primary > p').html())job_experience = experience_result.group(1)print(job_experience)# 岗位学历job_education = i('.info-primary > p').text().replace(' ', '').replace(city_result.group(1).replace(' ', ''), '').replace(experience_result.group(1).replace(' ', ''),'')print(job_education)# 公司名称company_name = i('.info-company a').text()print(company_name)# 公司类型company_type_result = re.search('(.*?)<em class=', i('.info-company p').html())company_type = company_type_result.group(1)print(company_type)# 公司状态company_status_result = re.search('<em class="vline"/>(.*?)<em class="vline"/>', i('.info-company p').html())if company_status_result:company_status = company_status_result.group(1)else:company_status = '无信息'print(company_status)# 公司规模company_people = i('.info-company p').text().replace(company_type, '').replace(company_status,'')print(company_people + '\n')# 写入数据库中self.add_Mysql(count, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people)# 获取下一页信息next = response.doc('.next').attr.hrefif next != 'javascript:;':self.crawl(next, callback=self.index_page, validate_cert=False)else:print("The Work is Done")# 详情页信息获取,由于访问次数有限制,不使用#for each in response.doc('.name > a').items():#url = each.attr.href#self.crawl(each.attr.href, callback=self.detail_page, validate_cert=False)@config(priority=2)def detail_page(self, response):# 详情页信息获取,由于访问次数有限制,不使用message_job = response.doc('div > .info-primary > p').text()city_result = re.findall('城市:(.*?)经验', message_job)experience_result = re.findall('经验:(.*?)学历', message_job)education_result = re.findall('学历:(.*)', message_job)message_company = response.doc('.info-company > p').text().replace(response.doc('.info-company > p > a').text(),'')status_result = re.findall('(.*?)\d', message_company.split(' ')[0])people_result = message_company.split(' ')[0].replace(status_result[0], '')return {"job_title": response.doc('h1').text(),"job_salary": response.doc('.info-primary .badge').text(),"job_city": city_result[0],"job_experience": experience_result[0],"job_education": education_result[0],"job_skills": response.doc('.info-primary > .job-tags > span').text(),"job_detail": response.doc('div').filter('.text').eq(0).text().replace('\n', ''),"company_name": response.doc('.info-company > .name > a').text(),"company_status": status_result[0],"company_people": people_result,"company_type": response.doc('.info-company > p > a').text(),}
获取BOSS直聘数据分析岗数据
PyCharm获取拉勾网数据
import requests
import pymysql
import random
import time
import jsoncount = 0
# 设置请求网址及请求头参数
url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36','Cookie': '你的Cookie值','Accept': 'application/json, text/javascript, */*; q=0.01','Connection': 'keep-alive','Host': 'www.lagou.com','Origin': 'https://www.lagou.com','Referer': 'ttps://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=sug&fromSearch=true&suginput=shuju'
}# 连接数据库
db = pymysql.connect(host='127.0.0.1', user='root', password='774110919', port=3306, db='lagou_job', charset='utf8mb4')def add_Mysql(id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people, job_tips, job_welfare):# 将数据写入数据库中try:cursor = db.cursor()sql = 'insert into job(id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people, job_tips, job_welfare) values ("%d", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s", "%s")' % (id, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people, job_tips, job_welfare);print(sql)cursor.execute(sql)print(cursor.lastrowid)db.commit()except Exception as e:print(e)db.rollback()def get_message():for i in range(1, 31):print('第' + str(i) + '页')time.sleep(random.randint(10, 20))data = {'first': 'false','pn': i,'kd': '数据分析'}response = requests.post(url=url, data=data, headers=headers)result = json.loads(response.text)job_messages = result['content']['positionResult']['result']for job in job_messages:global countcount += 1# 岗位名称job_title = job['positionName']print(job_title)# 岗位薪水job_salary = job['salary']print(job_salary)# 岗位地点job_city = job['city']print(job_city)# 岗位经验job_experience = job['workYear']print(job_experience)# 岗位学历job_education = job['education']print(job_education)# 公司名称company_name = job['companyShortName']print(company_name)# 公司类型company_type = job['industryField']print(company_type)# 公司状态company_status = job['financeStage']print(company_status)# 公司规模company_people = job['companySize']print(company_people)# 工作技能if len(job['positionLables']) > 0:job_tips = ','.join(job['positionLables'])else:job_tips = 'None'print(job_tips)# 工作福利job_welfare = job['positionAdvantage']print(job_welfare + '\n\n')# 写入数据库add_Mysql(count, job_title, job_salary, job_city, job_experience, job_education, company_name, company_type, company_status, company_people, job_tips, job_welfare)if __name__ == '__main__':get_message()
获取拉勾网数据分析岗数据
数据可视化
城市分布图
城市分布热力图
工作经验薪水图
这里通过看箱形图的四分位及中间值,大致能看出随着工作年限的增长,薪资也是一路上升。
BOSS直聘里,1年以内工作经验的薪资,有个最高4万多的,这肯定是不合理的。
于是就去数据库看了下,其实那个岗位要求是3年以上,但实际给的标签却是1年以内。
所以说数据来源提供的数据的准确性很重要。
学历薪水图
总的来说「硕士」>「本科」>「大专」,当然大专、本科中也有高薪水的。
毕竟越往后能力就越重要,学历算是一个重要的加分项。
公司状态薪水图
公司规模薪水图
正常来说,公司规模越大,薪水应该会越高。
毕竟大厂的工资摆在那里,想不知道都难。
公司类型TOP10
数据分析岗主要集中在互联网行业,「金融」「地产」「教育」「医疗」「游戏」也有所涉及。
工作技能图
工作福利词云图
这里可以看出大部分重点都围绕着「五险一金」「福利多」「团队氛围好」「晋升空间大」「行业大牛领头」上。
Python爬虫实战,pytesseract模块,Python实现BOOS直聘拉勾网岗位数据可视化相关推荐
- Python爬虫实战,pytesseract模块,Python实现拉勾网岗位数据可视化
前言 利用Python实现BOOS直聘&拉勾网岗位数据可视化.废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本:3.6.4 相关模块: requests模块 pyspider模块 ...
- Python使用BeautifulSoup与selenium爬取Boos直聘
Hello,我是普通Gopher,00后男孩,极致的共享主义者,想要成为一个终身学习者.专注于做最通俗易懂的计算机基础知识类公众号.每天推送Golang技术干货,内容起于K8S而不止于K8S,涉及Do ...
- Python爬虫实战013:Python爬取免费代理ip
import requests import time import random from lxml import etree from fake_useragent import UserAgen ...
- Python爬虫实战--(四)爬取58同城的商品数据
获取商品信息 获取头文件中的title信息 获取价格信息 获得时间信息 从列表页获取url 完整代码 获取商品信息 获取头文件中的title信息 <title>[图](上门回收)苹果平板- ...
- 线程,协程对比和Python爬虫实战说明
此文首发于我的个人博客:线程,协程对比和Python爬虫实战说明 - zhang0peter的个人博客 这篇文章写的是我对线程和协程的理解,有错误之处欢迎指出. 举一个餐馆的例子.我们把一个餐厅当做一 ...
- Python爬虫实战之(五)| 模拟登录wechat
作者:xiaoyu 微信公众号:Python数据科学 知乎:Python数据分析师 不知何时,微信已经成为我们不可缺少的一部分了,我们的社交圈.关注的新闻或是公众号.还有个人信息或是隐私都被绑定在了一 ...
- Python爬虫实战之(五)| 模拟登录wechat 1
作者:xiaoyu 微信公众号:Python数据科学 知乎:Python数据分析师 不知何时,微信已经成为我们不可缺少的一部分了,我们的社交圈.关注的新闻或是公众号.还有个人信息或是隐私都被绑定在了一 ...
- Python爬虫实战---抓取图书馆借阅信息
Python爬虫实战---抓取图书馆借阅信息 原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息 前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
- 路飞学城—Python爬虫实战密训班 第三章
路飞学城-Python爬虫实战密训班 第三章 一.scrapy-redis插件实现简单分布式爬虫 scrapy-redis插件用于将scrapy和redis结合实现简单分布式爬虫:- 定义调度器- 定 ...
最新文章
- centos 定时删除文件_CentOS自动删除n天前日志命令
- Ant在MyEclipse中的配置总结
- java.util.concurrent.locks.Condition文档说明
- 非科班Java尝试全国高校计算机能力挑战赛第三届计挑赛
- sql 除以_SQL题:leetcode Part 1 游戏玩法分析
- windows 弹shell_Windows系统常用免费软件“红黑榜”
- Dubbo3.0 简介
- 强悍的 Ubuntu —— 粘贴板
- Toad for Oracle Authorization key
- 谈谈Http中Get和Post的区别
- EDA发展历史及现状
- 网页前端基础三:JSP技术
- AutoCAD-图纸集使用方法
- Android实现蓝牙(BlueTooth)设备检测连接
- Go string类型及其使用
- 我们所看到的迎宾机器人,真的好用吗?
- win7系统下如何在虚拟机中安装Linux系统
- 中国大学moocpython_中国大学MOOC(慕课)_Python 语言程序设计_测试题及答案
- 苹果笔记本电脑我的计算机在哪里设置密码,苹果笔记本怎么设置开机密码_苹果笔记本如何设置开机密码-win7之家...
- ZoomEye:网络空间搜索引擎
热门文章
- 23种设计模式的优缺点
- ORA-12520:TNS:监听程序无法为请求的服务器类型找到可用的处理程序
- Ubuntu删除文件夹的命令
- linux一运行 风扇很大,操作系统-在Linux和windows 下cpu过高和风扇转不停的原因
- Centos7卸载软件或程序
- CSS 点扩散 光晕 闪点效果
- linux如何修改文件颜色,linux修改ls文件颜色
- 中兴通讯uSmart云电脑,开启安全办公新时代
- 只要11天,浓度1000倍的抗生素也无效,“超级细菌”将成人类的最大威胁之一...
- 原装windows10系统笔记本(HP 340 G4)安装windows7系统时问题的解决方案