Python爬取腾讯招聘信息

一、分析需求

腾讯招聘网址：https://careers.tencent.com/search.html

分析获取url：

提取数据的方法：

使用json转字典

二、代码实现

import requests
import csvurl = "https://careers.tencent.com/tencentcareer/api/post/Query"headers = {"user-agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
}params = {'area': ' cn','attrId': ' ','bgIds': ' ','categoryId': ' ','cityId': ' ','countryId': ' ','keyword': ' ','language': ' zh-cn','pageIndex': ' 1','pageSize': ' 10','parentCategoryId': ' ','productId': ' ','timestamp': ' 1602211262824'}def parse_json(url, params={}):"""解析url，得到字典"""response = requests.get(url=url, headers=headers, params=params)return response.json()def get_position(data):"""获取职位数据"""item = {"postion_name":"",#职位名称# "postion_department":"",#职位部门# "postion_location":"",#职位所在地# "postion_country":"",#职位所在国家# "postion_category":"",#职位类别"postion_responsibility":"",#职位职责"postion_url":"",#职位url}data_list = data["Data"]["Posts"]for data in data_list:item["postion_name"] = data["RecruitPostName"]item["postion_responsibility"] = data["Responsibility"]item["postion_url"] = data["PostURL"]save(item)def save(item):"""将数据保存到csv中"""with open("./腾讯招聘.csv", "a", encoding="utf-8") as file:writer = csv.writer(file)writer.writerow(item.values())def start():for i in range(1,618):params["pageIndex"] = idata = parse_json(url,params)get_position(data)if __name__ == '__main__':start()

三、运行结果

Python爬取腾讯招聘信息相关推荐

python爬取2019年计算机就业_2019年最新Python爬取腾讯招聘网信息代码解析
原标题:2019年最新Python爬取腾讯招聘网信息代码解析前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python ...
腾讯python招聘_2019年最新Python爬取腾讯招聘网信息代码解析
前言初学Python的小伙们在入门的时候感觉这门语言有很大的难度,但是他的用处是非常广泛的,在这里将通过实例代码讲解如何通过Python语言实现对于腾讯招聘网站信息的抓取废话不多说,各位小伙伴们一起 ...
python爬取实习僧招聘信息字体反爬
参考博客:http://www.cnblogs.com/eastonliu/p/9925652.html 实习僧招聘的网站采用了字体反爬,在页面上显示正常,查看源码关键信息乱码,如下图所示: 查看网页 ...
自动化爬虫爬取腾讯招聘信息
输入页数开始爬取可设定是否无头浏览有一个坑就是在翻页时无法直接click该元素要写一个执行js 预览图: 上代码 import time from selenium import webdriv ...
python爬取智联招聘信息
import random import re from time import sleep import requests from tqdm import tqdm import user_age ...
Python网络爬虫：爬取腾讯招聘网职位信息并做成简单可视化图表
hello,大家好,我是wangzirui32,今天我们来学习如何爬取腾讯招聘网职位信息,并做成简单可视化图表,开始学习吧! 文章目录 1. 网页分析 2. 获取json数据 3. 转换为Excel ...
爬虫实战——爬取腾讯招聘的职位信息（2020年2月2日）
爬取腾讯招聘的职位信息思路分析特别说明 1.获取PostId列表 2.爬取详情页面 3.保存数据完整代码结果展示总结分析思路分析特别说明本文以Java工作岗位信息为例进行说明,如果想爬 ...
从入门到入土：Python爬虫学习|实例练手|详细讲解|爬取腾讯招聘网|一步一步分析|异步加载|初级难度反扒处理|寻找消失的API来找工作吧
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
python+selenium爬取智联招聘信息
python+selenium爬取智联招聘信息需求准备代码结果需求老板给了我一份公司名单(大概几百家如下图),让我到网上看看这些公司分别在招聘哪些岗位,通过分析他们的招聘需求大致能推断出我 ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...

Python爬取腾讯招聘信息

一、分析需求

二、代码实现

三、运行结果

Python爬取腾讯招聘信息相关推荐

最新文章

热门文章