深圳python数据分析师招聘_Python爬取智联招聘数据分析师岗位相关信息的方法

Python爬取智联招聘数据分析师岗位相关信息的方法

发布时间：2020-09-23 23:23:12

来源：脚本之家

阅读：88

进入智联招聘官网，在搜索界面输入‘数据分析师'，界面跳转，按F12查看网页源码，点击network

选中XHR，然后刷新网页

可以看到一些Ajax请求，找到画红线的XHR文件，点击可以看到网页的一些信息

在Header中有Request URL，我们需要通过找寻Request URL的特点来构造这个请求网址，

点击Preview，可以看到我们所需要的信息就存在result中，这信息基本是json格式，有些是列表；

下面我们通过Python爬虫来爬取上面的信息；

代码如下：

import requests

from urllib.parse import urlencode

import json

#from requests import codes

#import os

#from hashlib import md5

#from multiprocessing.pool import Pool

#import re

def get_page(offset):

params = {

'start': offset,

'pageSize': '90',

'cityId': '530',

'salary': '0,0',

'workExperience': '-1',

'education': '-1',

'companyType': '-1',

'employmentType': '-1',

'jobWelfareTag': '-1',

'kw': '数据分析师',

'kt': '3',

'_v': '0.77091902',

'x-zp-page-request-id': '8ff0aa73bf834b408f46324e44d89b84-1562722989022-210101',

'x-zp-client-id': '2dc4c9a4-e80d-4488-84a3-03426dd69a1e'

}

base_url = 'https://fe-api.zhaopin.com/c/i/sou?'

url = base_url + urlencode(params)

try:

resp = requests.get(url)

print(url)

if 200 == resp.status_code:

print(resp.json())

return resp.json()

except requests.ConnectionError:

return None

def get_information(json_page):

if json_page.get('data'):

results = json_page.get('data').get('results')

for result in results:

yield {

'city': result.get('city').get('display'),

'company': result.get('company').get('name'),

#'welfare':result.get('welfare'),

'workingExp':result.get('workingExp').get('name'),

'salary':result.get('salary'),

'eduLevel':result.get('eduLevel').get('name')

}

print('succ')

def write_to_file(content):

with open('result.txt','a',encoding='utf-8') as f:

print(type(json.dumps(content)))

f.write(json.dumps(content,ensure_ascii=False)+'\n')

def main(offset):

json_page=get_page(offset)

for content in get_information(json_page):

write_to_file(content)

if __name__=='__main__':

for i in range(10):

main(offset=90*i)

爬取结果如下：

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持亿速云。

深圳python数据分析师招聘_Python爬取智联招聘数据分析师岗位相关信息的方法相关推荐

python爬取智联招聘网_python爬取智联招聘工作岗位信息
1 # coding:utf-8 2 # auth:xiaomozi 3 #date:2018.4.19 4 #爬取智联招聘职位信息 5 6 7 import urllib 8 from lxml i ...
Python用Selenium和Chromedriver爬取智联招聘的职位
步骤: 1.在智联招聘网站选择好职位关键词和作用地址. 2.运行代码. 其中注意点 1.用driver爬取首页时,会弹出如下图窗口.此时可以在代码中设置睡眠2秒,自己手动取消窗口. 2.在这一次爬取中 ...
Python爬虫爬取智联招聘职位信息
目的:输入要爬取的职位名称,五个意向城市,爬取智联招聘上的该信息,并打印进表格中 #coding:utf-8 import urllib2 import re import xlwtclass ZLZ ...
【Python爬虫案例学习20】Python爬虫爬取智联招聘职位信息
目的:输入要爬取的职位名称,五个意向城市,爬取智联招聘上的该信息,并打印进表格中 ####基本环境配置: Python版本:2.7 开发工具:pycharm 系统:win10 ####相关模块: im ...
python爬虫多url_Python爬虫实战入门六：提高爬虫效率—并发爬取智联招聘
之前文章中所介绍的爬虫都是对单个URL进行解析和爬取,url数量少不费时,但是如果我们需要爬取的网页url有成千上万或者更多,那怎么办? 使用for循环对所有的url进行遍历访问? 嗯,想法很好,但是 ...
xpath爬取智联招聘--大数据开发职位并保存为csv
先上项目效果图: 本次爬取的URL为智联招聘的网址:https://www.zhaopin.com/ 首先先登录上去,为了保持我们代码的时效性,让每个人都能直接运行代码出结果,我们要获取到我们登录上去 ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
BeautifulSoup爬取智联招聘数据
BeautifulSoup爬取智联招聘数据警告: 此项技术仅适用于练习,限制大量大规模爬取,在爬取中使用了个人cookie,请注意不要随意泄露,内含个人隐私信息! 如果过分爬取,会造成ip被封! 1 ...
python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...

深圳python数据分析师招聘_Python爬取智联招聘数据分析师岗位相关信息的方法

深圳python数据分析师招聘_Python爬取智联招聘数据分析师岗位相关信息的方法相关推荐

最新文章

热门文章