智联招聘反爬虫—MmEwMD参数定位
本文仅供学习交流使用,请勿用于商业用途或不正当行为
如果侵犯到贵公司的隐私或权益,请联系我立即删除
1、x-zp-client-id
全局搜索x-zp-client-id很容易定位到是由cookie中来的
2、x_zp_page_request_id
全局搜索发现从window.zpPageRequestId的值中获取, 该值时访问列表页返回的
3、MmEwMD
我们可以编写一个插件来进行hook,插件内容来自IT猫之家:https://www.itmaohome.com/windows-soft/574.html, 可以在这个页面内直接下载
1)首先创建一个文件夹, 命名为hook, 然后进入
2)创建一个文件, 命名为inject.js, 具体内容为
var code = function(){var open = window.XMLHttpRequest.prototype.open;window.XMLHttpRequest.prototype.open = function open(method, url, async){if (url.indexOf("MmEwMD")>-1){debugger;}return open.apply(this, arguments);};}var script = document.createElement('script');
script.textContent = '(' + code + ')()';
(document.head||document.documentElement).appendChild(script);
script.parentNode.removeChild(script);
3)创建一个文件, 命名为manifest.json, 具体内容为
{"name": "Injection","version": "2.0","description": "RequestHeader钩子","manifest_version": 2,"content_scripts": [{"matches": ["<all_urls>"],"js": ["inject.js"],"all_frames": true,"permissions": ["tabs"],"run_at": "document_start"}]
}
4)然后点击chrome扩展程序→加载已解压的扩展程序→选中hook这个文件夹即可
5)打开chrome开发者工具,然后输入列表页的对应的网址,可以发现断下来, 然后就可以查看调用堆栈进行下一步分析了
4、参数获取接口
写了个接口, 可以获取以上三个参数, 仅供测试使用, 切勿高频率请求
http://106.54.191.103:8000/key=e4d1f73c78f19bb6c7db25f6b39dc5c6
# -*- coding:utf-8 -*-
import requests
import jsonresp = requests.get('http://106.54.191.103:8000/key=e4d1f73c78f19bb6c7db25f6b39dc5c6')
resp_dict = json.loads(resp.text)
print(resp_dict)x_zp_page_request_id = resp_dict['x_zp_page_request_id']
x_zp_client_id = resp_dict['x_zp_client_id']
MmEwMD = resp_dict['MmEwMD']
url = f'https://fe-api.zhaopin.com/c/i/sou?x-zp-page-request-id={x_zp_page_request_id}&x-zp-client-id={x_zp_client_id}&MmEwMD={MmEwMD}'headers = {'authority': "fe-api.zhaopin.com",'pragma': "no-cache",'cache-control': "no-cache,no-cache",'accept': "application/json, text/plain, */*",'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36",'content-type': "application/json;charset=UTF-8",'origin': "https://sou.zhaopin.com",'sec-fetch-site': "same-site",'sec-fetch-mode': "cors",'sec-fetch-dest': "empty",'referer': "https://sou.zhaopin.com/?p=2&jl=530&kw=python&kt=3",'accept-language': "zh-CN,zh;q=0.9,en;q=0.8",}payload = {'start': '90','pageSize': '90','cityId': '530','workExperience': '-1','companyType': '-1','employmentType': '-1','jobWelfareTag': '-1','kw': 'python','kt': '3',
}response = requests.post(url, json=payload, headers=headers)
print(response.text)
智联招聘反爬虫—MmEwMD参数定位相关推荐
- requests使用ip代理时单ip和多ip设置方式,智联招聘小爬虫封装
reqeusts库,在使用ip代理时,单ip代理和多ip代理的写法不同 (目前测试通过,如有错误,请评论指正) 单ip代理模式 省去headers等 import requests proxy = { ...
- 招聘网站分析-智联招聘网的爬虫设计与实现
爬虫文件 原理 1.分析 智联招聘网是招聘网站中爬取难度最高的网站.为了减轻爬虫对网站运营的影响,要求用户必须注册登录,否则提示登录后才能进行信息检索. 智联招聘网的页面布局以及列表页请求url.注册 ...
- 智联招聘python岗位_python智联招聘爬虫
博主写了一个智联招聘的爬虫,只要输入职位关键字,就能快速导出智联招聘上的数据,存在excel表里- import requests,openpyxl #建立excel表 joblist=[] wb=o ...
- 爬虫项目十七:用Python轻松爬下智联招聘七千条招聘信息
文章目录 前言 一.列表页URL获取 二.详情页URL获取 三.获取数据 总结 前言 利用Python requets+selenium 爬取智联招聘中全国招聘数据.如果看过我之前的文章那应该知道我们 ...
- (转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录 网页分析 实现代码分析 结果 总结 github代码地址 网页分析 以https://xiaoyuan.zh ...
- python智联招聘爬虫
博主写了一个智联招聘的爬虫,只要输入职位关键字,就能快速导出智联招聘上的数据,存在excel表里- import requests,openpyxl#建立excel表 joblist=[] wb=op ...
- python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录 网页分析 实现代码分析 结果 总结 github代码地址 网页分析 以https://xiaoyuan.zh ...
- 关于智联招聘招聘信息的机器学习模型
之前发布了一个对求职信息的网页爬虫,这之后做了一些机器学习的探索,这段时间项目基本介绍了,整理一下发布出来,供大家交流. 3基于逻辑回归的岗位分类器设计 3.1 :逻辑回归算法简介 假设数据集有n个独 ...
- python3 scrapy爬取智联招聘存mongodb
写在前面,这次写智联招聘的爬虫是其次,主要的是通过智联招聘上的数据信息弄一个数据挖掘的小项目,这一篇主要是如何一气呵成的将智联招聘上的招聘信息给爬下来 (一)scrapy框架的使用 scrapy框架是 ...
最新文章
- JS(内置对象,全局函数,事件,事件对象)
- PHP 7.0新增特性详解
- [20161107]关于数据文件位图区.txt
- java中 instanceof 的用法
- 需求与范围驾驭深刻反省总结
- jps命令:查看Java进程等详细信息
- Java缓存Ehcache-核心类和方法介绍及代码实例
- 香港中文大学(深圳)张大鹏教授项目组招聘PhD
- 关于CentOS 7(Linux)下 软件|脚本 的自启动
- 帝国CMS友情链接系统图文教程
- JavaScript学习第一天——计算机基础导学(编程语言、计算机基础)
- 金万维异速联服务器重装,金万维异速联客户端常见错误提示及解决办法
- dedecms分页样式修改 内容页 上一页 下一页
- Android工具栏的使用
- 中国大学慕课——程序设计与算法(一)第二周测验
- ChromeFK插件推荐系列九:PDF插件推荐
- [unityshader]制作能量护盾以及简单互动
- LiveNVR监控摄像头Onvif/RTSP视频流媒体服务平台概览负载信息实时展示取流中、播放中、录像中等使用数目说明
- 电脑赚钱兼职平台有哪些?分享几个正规靠谱的平台
- [ipsec][crypto] 什么是AEAD加密算法中的AAD 及aad length