本文仅供学习交流使用,请勿用于商业用途或不正当行为
如果侵犯到贵公司的隐私或权益,请联系我立即删除

1、x-zp-client-id

全局搜索x-zp-client-id很容易定位到是由cookie中来的

2、x_zp_page_request_id

全局搜索发现从window.zpPageRequestId的值中获取, 该值时访问列表页返回的

3、MmEwMD

我们可以编写一个插件来进行hook,插件内容来自IT猫之家:https://www.itmaohome.com/windows-soft/574.html, 可以在这个页面内直接下载
1)首先创建一个文件夹, 命名为hook, 然后进入
2)创建一个文件, 命名为inject.js, 具体内容为

var code = function(){var open = window.XMLHttpRequest.prototype.open;window.XMLHttpRequest.prototype.open = function open(method, url, async){if (url.indexOf("MmEwMD")>-1){debugger;}return open.apply(this, arguments);};}var script = document.createElement('script');
script.textContent = '(' + code + ')()';
(document.head||document.documentElement).appendChild(script);
script.parentNode.removeChild(script);

3)创建一个文件, 命名为manifest.json, 具体内容为

{"name": "Injection","version": "2.0","description": "RequestHeader钩子","manifest_version": 2,"content_scripts": [{"matches": ["<all_urls>"],"js": ["inject.js"],"all_frames": true,"permissions": ["tabs"],"run_at": "document_start"}]
}

4)然后点击chrome扩展程序→加载已解压的扩展程序→选中hook这个文件夹即可


5)打开chrome开发者工具,然后输入列表页的对应的网址,可以发现断下来, 然后就可以查看调用堆栈进行下一步分析了

4、参数获取接口

写了个接口, 可以获取以上三个参数, 仅供测试使用, 切勿高频率请求
http://106.54.191.103:8000/key=e4d1f73c78f19bb6c7db25f6b39dc5c6

# -*- coding:utf-8 -*-
import requests
import jsonresp = requests.get('http://106.54.191.103:8000/key=e4d1f73c78f19bb6c7db25f6b39dc5c6')
resp_dict = json.loads(resp.text)
print(resp_dict)x_zp_page_request_id = resp_dict['x_zp_page_request_id']
x_zp_client_id = resp_dict['x_zp_client_id']
MmEwMD = resp_dict['MmEwMD']
url = f'https://fe-api.zhaopin.com/c/i/sou?x-zp-page-request-id={x_zp_page_request_id}&x-zp-client-id={x_zp_client_id}&MmEwMD={MmEwMD}'headers = {'authority': "fe-api.zhaopin.com",'pragma': "no-cache",'cache-control': "no-cache,no-cache",'accept': "application/json, text/plain, */*",'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",'content-type': "application/json;charset=UTF-8",'origin': "https://sou.zhaopin.com",'sec-fetch-site': "same-site",'sec-fetch-mode': "cors",'sec-fetch-dest': "empty",'referer': "https://sou.zhaopin.com/?p=2&jl=530&kw=python&kt=3",'accept-language': "zh-CN,zh;q=0.9,en;q=0.8",}payload = {'start': '90','pageSize': '90','cityId': '530','workExperience': '-1','companyType': '-1','employmentType': '-1','jobWelfareTag': '-1','kw': 'python','kt': '3',
}response = requests.post(url, json=payload, headers=headers)
print(response.text)

智联招聘反爬虫—MmEwMD参数定位相关推荐

  1. requests使用ip代理时单ip和多ip设置方式,智联招聘小爬虫封装

    reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同 (目前测试通过,如有错误,请评论指正) 单ip代理模式 省去headers等 import requests proxy = { ...

  2. 招聘网站分析-智联招聘网的爬虫设计与实现

    爬虫文件 原理 1.分析 智联招聘网是招聘网站中爬取难度最高的网站.为了减轻爬虫对网站运营的影响,要求用户必须注册登录,否则提示登录后才能进行信息检索. 智联招聘网的页面布局以及列表页请求url.注册 ...

  3. 智联招聘python岗位_python智联招聘爬虫

    博主写了一个智联招聘的爬虫,只要输入职位关键字,就能快速导出智联招聘上的数据,存在excel表里- import requests,openpyxl #建立excel表 joblist=[] wb=o ...

  4. 爬虫项目十七:用Python轻松爬下智联招聘七千条招聘信息

    文章目录 前言 一.列表页URL获取 二.详情页URL获取 三.获取数据 总结 前言 利用Python requets+selenium 爬取智联招聘中全国招聘数据.如果看过我之前的文章那应该知道我们 ...

  5. (转)python爬虫实例——爬取智联招聘信息

    受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录 网页分析 实现代码分析 结果 总结 github代码地址 网页分析 以https://xiaoyuan.zh ...

  6. python智联招聘爬虫

    博主写了一个智联招聘的爬虫,只要输入职位关键字,就能快速导出智联招聘上的数据,存在excel表里- import requests,openpyxl#建立excel表 joblist=[] wb=op ...

  7. python爬虫实例——爬取智联招聘信息

    受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录 网页分析 实现代码分析 结果 总结 github代码地址 网页分析 以https://xiaoyuan.zh ...

  8. 关于智联招聘招聘信息的机器学习模型

    之前发布了一个对求职信息的网页爬虫,这之后做了一些机器学习的探索,这段时间项目基本介绍了,整理一下发布出来,供大家交流. 3基于逻辑回归的岗位分类器设计 3.1 :逻辑回归算法简介 假设数据集有n个独 ...

  9. python3 scrapy爬取智联招聘存mongodb

    写在前面,这次写智联招聘的爬虫是其次,主要的是通过智联招聘上的数据信息弄一个数据挖掘的小项目,这一篇主要是如何一气呵成的将智联招聘上的招聘信息给爬下来 (一)scrapy框架的使用 scrapy框架是 ...

最新文章

  1. JS(内置对象,全局函数,事件,事件对象)
  2. PHP 7.0新增特性详解
  3. [20161107]关于数据文件位图区.txt
  4. java中 instanceof 的用法
  5. 需求与范围驾驭深刻反省总结
  6. jps命令:查看Java进程等详细信息
  7. Java缓存Ehcache-核心类和方法介绍及代码实例
  8. 香港中文大学(深圳)张大鹏教授项目组招聘PhD
  9. 关于CentOS 7(Linux)下 软件|脚本 的自启动
  10. 帝国CMS友情链接系统图文教程
  11. JavaScript学习第一天——计算机基础导学(编程语言、计算机基础)
  12. 金万维异速联服务器重装,金万维异速联客户端常见错误提示及解决办法
  13. dedecms分页样式修改 内容页 上一页 下一页
  14. Android工具栏的使用
  15. 中国大学慕课——程序设计与算法(一)第二周测验
  16. ChromeFK插件推荐系列九:PDF插件推荐
  17. [unityshader]制作能量护盾以及简单互动
  18. LiveNVR监控摄像头Onvif/RTSP视频流媒体服务平台概览负载信息实时展示取流中、播放中、录像中等使用数目说明
  19. 电脑赚钱兼职平台有哪些?分享几个正规靠谱的平台
  20. [ipsec][crypto] 什么是AEAD加密算法中的AAD 及aad length

热门文章

  1. 有效提高效率的PDF小技巧,你确定不了解下嘛?
  2. scrapy实现链家二手房的数据获取并进行持久化存储
  3. OPPO Java后端校招提前批面试
  4. GitLab Projects 2020 插件配置
  5. 比较好的在线绘制图表工具
  6. 数据分析报告流程展现
  7. Tiny Core Linux 安装配置
  8. Python基础1——读取数据(公众号数据科学实践)
  9. 晶振PPM小参数,大作用
  10. Power BI(二十四)power pivot之产品/客户分类分析(ABC分析)