手把手教你用Python采集腾讯招聘数据
大家好,我是梦雅:mengy7762~
今天我们爬取腾讯招聘网站Python岗位的招聘信息。如图所示:
然后还是先看一下最终的结果,我们保存到csv文件中。
爬取1000条数据,第一行是title:
老规矩,我们还是走流程。
01需求分析
抓取腾讯招聘网站Python相关岗位数据,打开目标网站,F12打开开发者工具,发现岗位信息不在网页源码中,很明显是在XHR中的json数据。最后,如果你的时间不是很紧张,并且又想快速的提高,最重要的是不怕吃苦,建议你可以联系维:762459510 ,那个真的很不错,很多人进步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
正好对应页面十条数据,接下来就好办了。
02发送请求
找到url的页面规律,
url:https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1620561777984&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex=1&pageSize=10&language=zh-cn&area=cn
index参数对应值即为页码,所以循环得到url链。
def getPage(self):
url_list = []
for i in range(100):
url = self.url.format(i + 1)
url_list.append(url)
return url_list
03解析页面
得到url链之后我们循环遍历发起请求,得到json数据,将json数据转换成字典,并解析数据。
for url in urlList:
resp = requests.get(url, headers=self.headers)
data = resp.content.decode(‘utf-8’)
dic_data = json.loads(data)
dic_data_list = dic_data[“Data”][“Posts”]
for i in dic_data_list:
work_list.append(i)
这样就得到了岗位信息数据。
04保存数据
得到了岗位数据之后我们需要把它保存到本地,这里我们把数据保存到本地csv文件中。最后,如果你的时间不是很紧张,并且又想快速的提高,最重要的是不怕吃苦,建议你可以联系维:762459510 ,那个真的很不错,很多人进步都很快,需要你不怕吃苦哦!大家可以去添加上看一下~
try:
with open(‘Tx_work.csv’, ‘w’, encoding=‘utf-8’, newline=’’) as f:
writer = csv.DictWriter(f, self.title)
writer.writeheader()
writer.writerows(dic)
print(‘写入成功’)
except Exception as e:
print(e)
05运行程序
if name == ‘main’:
tx = Tx(base_url,hd,titles)
tx.run()
小伙伴们可以对Python岗位的岗位需求好好分析结合自身技术栈,最后希望大家都能找到好工作。
需要资料关注后私信“6”即可
手把手教你用Python采集腾讯招聘数据相关推荐
- 手把手教你入侵网站修改数据_手把手教你使用Python抓取QQ音乐数据(第四弹)...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
- 手把手教你使用Python抓取QQ音乐数据!
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
- python爬取qq音乐歌曲链接为什么播放不出来_手把手教你使用Python抓取QQ音乐数据(第一弹)...
原标题:手把手教你使用Python抓取QQ音乐数据(第一弹) [一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. ...
- 手把手教你使用Python抓取QQ音乐数据(第四弹)(文末赠书)
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 千里之行,始于足下. [一.项目目 ...
- 如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据(第三弹)-阿里云开发者社区...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
- python音乐的数据抓取与分析_手把手教你使用Python抓取QQ音乐数据!
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
- 实战|手把手教你利用Python网络爬虫获取新房数据
一.项目背景 大家好,我是J哥. 新房数据,对于房地产置业者来说是买房的重要参考依据,对于房地产开发商来说,也是分析竞争对手项目的绝佳途径,对于房地产代理来说,是踩盘前的重要准备. 今天J哥以惠民之家 ...
- 手把手教你使用Python抓取QQ音乐数据(第一弹)
[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json ...
- qq 音乐 python 登录_手把手教你使用Python抓取QQ音乐数据(第一弹)
[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json ...
- 如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据(第二弹)
[一.项目目标] 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精 ...
最新文章
- shell 脚本逐行读取多个文件,并逐行对应
- css IE下执行的样式,其他浏览器忽略
- CAD—定义委托异步添加实体
- 介绍一个Excel批量处理软件
- docker私有仓库harbor配置helm chart仓库(安装helm chart插件)
- java一键保存表格增删改,一个增删改功能的表格小demo
- 一个文件下载的工具类
- IPFS的文件存储模式
- mysql数据库调优知识复习
- It seems that scikit-learn has not been built correctly.
- 详解贪心算法的几个经典问题(代码详解)
- 生产用计算机房噪音应小于,机房建设规范标准要求
- Some file crunching failed, see logs for details
- [附源码]Python计算机毕业设计常见病辅助食疗系统
- 蓝桥试题 算法提高 Java分割项链
- VC安装产生eula.1028.txt等文件的问题
- SpringBoot 轻松搞定数据验证 (二)
- JavaScript(第三天)—爱创课堂专业前端培训
- 玩转Linux的下Ip计算器(图文)
- 双 JK 触发器 74LS112 逻辑功能。真值表_数字电路学习笔记(十一):时序逻辑...
热门文章
- Python自动登录校园网
- iOS自定义UITableViewRowAction
- VR时代的媒介——虚拟的真实感就是真实
- Elasticsearch Field Options Norms
- 详解闲鱼推荐系统(长文收藏)
- pathrewrite不生效_Vue使用Proxy代理后仍无法生效的解决
- 如何在百度地图上标注宾馆饭店(矢量点标注)并导出为图片
- Semi-Supervised Semantic Image Segmentation with Self-correcting Networks:基于自校正网络的半监督语义图像分割
- Dreamweaver之简单实现网站布局、图片漂浮、区域跳转、登陆注册及图片查看器
- please configure web facet first