python实现对某招聘网接口测试获取平台信息
"""通过接口测试的技术获取某招聘网平台的资料"""url = "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false"def getHeaders(): headers = { "Content-Type": "application/json;charset=UTF-8", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36", "Cookie": "JSESSIONID=ABAAABAAAIAACBI2438D04CF91400F1FF0A2B38358AFFA5; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1550930753; _ga=GA1.2.193872554.1550930753; _gat=1; user_trace_token=20190223220617-301cdfdc-3774-11e9-af96-525400f775ce; LGSID=20190223220617-301ce139-3774-11e9-af96-525400f775ce; PRE_UTM=; PRE_HOST=cn.bing.com; PRE_SITE=https%3A%2F%2Fcn.bing.com%2F; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGUID=20190223220617-301ce2a8-3774-11e9-af96-525400f775ce; _gid=GA1.2.1796885419.1550930753; index_location_city=%E5%85%A8%E5%9B%BD; SEARCH_ID=a0ad1593bd14438d8a205a17a17f95c1; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1550930826; LGRID=20190223220730-5b9c7593-3774-11e9-af96-525400f775ce; TG-TRACK-CODE=search_code", "Referer": "https://www.lagou.com/jobs/list_%E8%87%AA%E5%8A%A8%E5%8C%96%E6%B5%8B%E8%AF%95%E5%B7%A5%E7%A8%8B%E5%B8%88?labelWords=&fromSearch=true&suginput=" } return headers def lagou(page=2): positions = [] r = requests.post( url=url, headers=getHeaders(), data={"first": False,"pn": page,"kd": "自动化测试工程师"}) text = r.text print(text) for i in range(0,15): city = r.json()#["content"]["positionResult"]["result"][i]["city"] print(city) positionAdvantage = r.json()["content"]["positionResult"]["result"][i]["positionAdvantage"] workYear = r.json()["content"]["positionResult"]["result"][i]["workYear"] companyFullName = r.json()["content"]["positionResult"]["result"][i]["companyFullName"] education = r.json()["content"]["positionResult"]["result"][i]["education"] district = r.json()["content"]["positionResult"]["result"][i]["district"] salary = r.json()["content"]["positionResult"]["result"][i]["salary"] companySize = r.json()["content"]["positionResult"]["result"][i]["companySize"] companyLabelList = r.json()["content"]["positionResult"]["result"][i]["companyLabelList"] positionLables = r.json()["content"]["positionResult"]["result"][i]["positionLables"] position = { "城市":city, "区域":district, "学历":education, "工作年限":workYear, "薪资":salary, "公司名称":companyFullName, "公司大小":companySize, "公司标签":companyLabelList, "工作标签":positionLables, "公司福利":positionAdvantage } positions.append(position) return positionslagou()def writeCsv(): headers = ["城市", "区域", "学历", "工作年限", "薪资", "公司名称", "公司大小", "公司标签", "工作标签","公司福利"] for item in range(1,31): positions = lagou(page=item) with open("lagou.cvs","a") as f: writer = csv.DictWriter(f,headers) writer.writeheader() writer.writerows(positions) writeCsv()
转载于:https://www.cnblogs.com/Teachertao/p/10426440.html
python实现对某招聘网接口测试获取平台信息相关推荐
- 使用Python爬取51job招聘网的数据
使用Python爬取51job招聘网的数据 进行网站分析 获取职位信息 存储信息 最终代码 进行网站分析 进入https://www.51job.com/这个网站 我在这就以python为例搜索职位跳 ...
- python射线法-离线根据经纬度反向获取城市信息
python射线法-离线根据经纬度反向获取城市信息 准备工作 相关算法储备 总结 目前能够使用 经纬度信息去逆解析经纬度的API有很多,各自可以根据业务需求和地理编码格式选择百度.谷歌.高德等API. ...
- 用python爬取前程无忧招聘网
直接上代码了,相比前篇文章智联招聘网的数据,前程无忧网的数据可以爬取很多. 网址:https://search.51job.com/list/040000,000000,0000,00,9,99,%2 ...
- python通过调用百度天气API接口获取天气信息
python调用百度接口,获取天气信息 需要到百度注册开发者账号,通过账号获取到每个账号私有的应用访问(AK) 使用此脚本还需要district_id.csv文档,在我资源中可以免费下载,也可在百度天 ...
- python中的platform模块获取平台信息
利用该模块可以获取系统平台与python平台的信息. import platform'''python中,platform模块给我们提供了很多方法去获取操作系统的信息如:import platform ...
- 网狐获取服务器信息,网狐服务端扩展业务接口手册
互联网的精神是开放的,是分享的.开放,使它不存在时间和地域的界限,知识的获取在互联网时代变得简单.而分享精神,更是互联网发展的原动力,它让不同的见解得以交流,各式各样的需求得到满足. 网狐科技成立于2 ...
- python爬虫我要个性网,获取头像
python爬虫学习 提前声明:请勿他用,仅限个人学习 运用模块有 import requests import re import os 较为常规,适合网络小白.lxml和bs4也是基础.长话短说. ...
- Python爬取猪肉价格网并获取Json数据
场景 猪肉价格网站: http://zhujia.zhuwang.cc/ 注: 博客: https://blog.csdn.net/badao_liumang_qizhi 关注公众号 霸道的程序猿 获 ...
- python自动化之UI招聘网
51job #@Time : 2020/10/31 18:52 #@Author : 桃子猫的布偶 #@Software: PyCharmfrom selenium import webdriver ...
- 大数据项目开发hadoop集群搭建 python爬取前程无忧招聘网信息以及进行数据分析和数据可视化
大数据项目开发实训报告 一.Hadoop环境搭建 1: jdk的安装 1):在linux系统下的opt目录下创建software 和 module 两个目录 2):利用filezilla工具将 jdk ...
最新文章
- JavaScript学习笔记 - 入门篇(1)- 准备
- 网站SEO优化可通过哪些数据分析来解决问题?
- volatile的介绍
- 警告!你的Python代码命名太烂了,命令你熟读本篇迷你命名指南!
- pip install -r requirement.txt 后 提示No such file or directory: ‘requirements.txt‘
- 我python写的闭包为什么效率很低_GitHub - llzhi001/interview_python_practice: interview 面试题 CS-Notes之ME-技术总结...
- 阅读与html阅读的区别,w3c School读书笔记(一):HTML基础
- html表格在页面间距,在CSS中设置单元格和单元格间距?
- 前端学习(1558):ng-repeat命令
- Spring 容器(Spring 的上下文)
- 微服务精华问答 | 如何理解中台战略和微服务
- 名企程序员被裁实录:早上还在改 Bug,晚上就成下岗工
- Salesforce宣布5.82亿美元收购文件编辑公司Quip
- loading窗口动画 web_在页面未加载完之前显示loading动画
- VB 文件未找到: 'C:\WINDOWS\system32\ieframe.dll\1'--继续加载工程吗?
- iOS 加载本地HTML网页 js css images等文件
- Could not load codec 'Lucene54'. Did you forget to add lucene-backward-codecs.jar?
- 权重股启动意味着什么
- 定制属于你的专属上网导航页,个性域名、个性皮肤,你说了算!
- day15_css补充、js基础、dom基础
热门文章
- 加载八叉树索引文件_mysql innodb索引原理
- python数据库教程_python使用mysql操作教程
- NC158 有向无环图的单源最短路径问题:Dijkstra算法
- 宏转录组方法_中山大学医学院施莽教授学术讲座:宏转录组方法在病原生物学领域的应用...
- jlabel 不能连续两次set_关于JLabel的setText在监听器中不刷新有关问题(2)
- 【2018蓝桥省赛A组C/C++】倍数问题(dp+滚动数组)
- Focal Loss 和 LightGBM 多分类应用-python实现
- node.js 微信小程序 部署服务器_微信小程序云开发如何上手
- C/C++[入门最后两题]
- DeepRacer 找到的最好的奖励函数 reward function