python爬虫脚本获取网易招聘某个职业的全部数据信息

目标网页:网易招聘

抓取目标:
1.根据输入职业抓取该职业的全部数据
2.存入excel

用到的库:

import requests
import pandas

全部代码:

import requests
import pandas
#请求头链接
key = input('输入你要搜索的职业:')
def size(key):  #返回总共有多少条相关招聘pageSizedata = {"currentPage":1, "pageSize":1, "keyword": key}url = 'https://hr.163.com/api/hr163/position/queryPage'res = requests.post(url, json=data)json = res.json()total = json['data']['total']# print(total)return total
page_size = size(key)
data = {"currentPage":1, "pageSize":page_size, "keyword": key}
url = 'https://hr.163.com/api/hr163/position/queryPage'
res = requests.post(url, json=data)
json = res.json()
# print(json)
total = json['data']['total']
json_list = json['data']['list']
print(total)
wangyi_list = []
# print(json_list)
for list in json_list:# print(list)# print(json_list[i])# dict = json_list[i]name = list['name']#职业名称# print('正在储存----')print(name)xueli = list['reqEducationName']#学历# print(xueli)address = list['workPlaceNameList'][0]#地址# print(address)type = list['firstPostTypeName']#职业类型# print(type)number = list['postStatus']#职位# print(number)department = list['firstDepName']#部门# print(department)demand = list['reqWorkYearsName']#经验需求# print(demand)describe = list['requirement']#职位描述# print(describe)requirement = list['en_requirement']#职位需求# print(requirement)wangyi_list.append({'职位名称':name,'工作地址':address,'工作部门':department,'职业类型':type,'需求人数':number,'学历要求':xueli,'经验需求':demand,'职位描述':describe,'职业要求':requirement})
# print(wangyi_list)
ex = pandas.DataFrame(wangyi_list)
ex.to_excel("网易招聘-%s.xlsx"%key,index=False)

效果:

python爬虫脚本获取网易招聘某个职业的全部数据信息相关推荐

利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分
想法来源:虎扑体育app中有个游戏叫做"每日范特西",此游戏给于NBA每位球员一个与他能力(数据)相符的身价,玩家的任务是给定金额120,根据每位球员的身价以及位置组建一个自己的阵 ...
【Python爬虫实战案例】采集城市桌游商家数据信息，做可视化演示
前言这里容我罗嗦几句
【Python爬虫脚本】拒绝黄牛从我做起！Python自动抢购脚本，准点原价秒杀飞天茅台！！！
前言点击下方视频即可查看详细教程 [Python爬虫脚本]拒绝黄牛从我做起!Python自动抢购脚本,准点原价秒杀飞天茅台!!! 源码领取上述这份完整版的源码课件已经上传CSDN官方,朋友们如果需 ...
Python爬虫实战——获取电影影评
Python爬虫实战--获取电影影评前言第三方库的安装示例代码效果演示结尾前言使用Python爬取指定电影的影评, 注意:本文仅用于学习交流,禁止用于盈利或侵权行为. 操作系统:wind ...
python爬虫(14)获取淘宝MM个人信息及照片（中）
python爬虫(14)获取淘宝MM个人信息及照片(中) python爬虫(14)获取淘宝MM个人信息及照片(上) python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本) 在上 ...
python爬虫(14)获取淘宝MM个人信息及照片（上）
python爬虫(14)获取淘宝MM个人信息及照片(上) python爬虫(14)获取淘宝MM个人信息及照片(中) python爬虫(14)获取淘宝MM个人信息及照片(下)(windows版本) 网上 ...
利用爬虫快速获取企业招聘信息
基于JSoup的HTML解析(以58同城为例) House.java package com.newer.spider;public class House {String room;String d ...
python爬虫多久能学会-不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据...
原标题:不踩坑的Python爬虫:如何在一个月内学会爬取大规模数据 Python爬虫为什么受欢迎如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方 ...
Python爬虫系列之爬取微信公众号新闻数据
Python爬虫系列之爬取微信公众号新闻数据小程序爬虫接单.app爬虫接单.网页爬虫接单.接口定制.网站开发.小程序开发 > 点击这里联系我们 < 微信请扫描下方二维码代码仅供学习交流 ...

python爬虫脚本获取网易招聘某个职业的全部数据信息

python爬虫脚本获取网易招聘某个职业的全部数据信息相关推荐

最新文章

热门文章