【爬虫】Python爬虫经验分享--爬取码市招聘项目
以下内容为本人原创,欢迎大家观看学习,禁止用于商业用途,
·作者:@Yhen
·原文网站:CSDN
·原文链接:https://blog.csdn.net/Yhen1/article/details/111598637
转载请说明此出处,侵权必究!谢谢合作!
大家好,我是偷偷学Python的Touzi学子Yhen
这期给大家分享的项目是爬取码市招聘项目
长话短说,马上开始这次的经验分享.
首先是进入…(对了,有一点忘记说了,就是从本期开始,不仅有在CSDN的文字教程,我还另外制作了视频分享分布在我的公众号“Yhen杂文铺”中,带给大家更直观更高效的体验~)
Bty,以后博客尽量走简洁风
文章目录
- 一.前期准备
- 二.需求分析
- 三.思路分析
- 四.代码演示
- 五.源代码获取
- 六.视频教程
- 七.往期文章回顾
一.前期准备
这一期我们只需要用到两个常用的模块
requests 发送请求 项目核心
time 用于设置延时
二.需求分析
将码市中
①项目名称
②招聘岗位
③项目描述
④薪水
爬取下来
三.思路分析
在主页点击鼠标右键 ==》点击检查
在弹出的调试工具中
①点击Network ===》②F5刷新
然后根据下图中的顺序逐个点击
就可以找到我们想要的信息了
现在已经知道我们想要信息的藏身之处了
接下来就用代码将他们爬取下来吧
四.代码演示
首先导包
import requests #导入爬虫库
import time #用于请求延时
接下来是对网页发送请求
url='https://codemart.com/api/project?page=1'
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36','accept': 'application/json'
}#对网址发送请求
res=requests.get(url,headers=headers).json()
time.sleep(1) #每请求一次延时一秒钟 减少对服务器的负担
打印得到的数据看看
一切正常
接下来提取数据,并用一个变量将他们接收
直接上代码
(不理解的请参照公众号里的视频教程,有详细解释)
count=1
for dic in res['rewards']:#name description price rolesname=dic['name'] #项目名称description=dic['description'] #项目描述price=dic['price'] #薪水roles=dic['roles'] #招聘岗位#将需要的信息拼接起来 \n是换行符 、\n\n是换行加空行text='第'+str(count)+'个项目'+'\n'+'项目名称:'+name+'\n'+'项目描述:'+description+'\n'+'薪水:'+price+'\n'+'招聘岗位:'+roles+'\n\n'count+=1
打印此时的text变量看看
完美~
接下来就将它们保存到txt文件中去
f=open('码市.txt','a',encoding='utf-8')f.write(text) #将招聘的信息写入到txt文件中f.close()
来看下效果
那么
本期的分享就到此啦
溜了~
五.源代码获取
扫码关注我的微信公众号Yhen杂文铺后台回复关键词码市爬虫即可获取哦.
六.视频教程
公众号“Yhen杂文铺”主页中
七.往期文章回顾
【室内温度+树莓派性能监控】树莓派+DS18B20温度传感器+0.96寸OLED显示屏使用及安装经验分享
Yhen爬虫经验分享——爬取码市招聘项目
Yhen带你趣味入门Python①—Windows下Python下载及安装
【python热搜爬虫+定时发送邮件操作①】不会吧不会吧!不会2020了还有人需要用软件看微博热搜吧?
【python微博爬虫+定时发送邮件操作②】不会吧不会吧!不会2020了还有人需要用软件看微博热搜吧?
【爬虫+数据可视化】Yhen手把手带你爬取CSDN博客访问量数据并绘制成柱状图
【爬虫】Yhen手把手带你爬取去哪儿网热门旅游信息(并打包成旅游信息查询小工具
【爬虫】Yhen手把手带你用python爬小说网站,全网打尽,想看就看!(这可能会是你看过最详细的教程)
【实用小技巧】用python自动判断并删除目录下的空文件夹(超优雅)
【爬虫+数据库操作】Yhen手把手带你用pandas将爬取的股票信息存入数据库!
【selenium爬虫】
Yhen手把手带你用selenium自动化爬虫爬取海贼王动漫图片
【爬虫】秀才不出门,天下事尽知。你也能做到!Yhen手把手带你打造每日新闻资讯速达小工具。
【爬虫】Yhen手把手带你用python爬取知乎大佬热门文章
【爬虫】Yhen手把手教你爬取表情包,让你成为斗图界最靓的仔
【前端】学过一天的HTML+CSS后,能做出什么有趣的项目?
希望大家能够喜欢这篇文章
如果可以的话,可以点个赞鼓励下嘛?加个关注更好呦!
我是Yhen,下次见~
【爬虫】Python爬虫经验分享--爬取码市招聘项目相关推荐
- 用python爬取码市的数据简单分析
今年很缺钱,或者说一直缺,但是今年开始意识到了,决定用业余时间赚外快,最好能达到目前一半的收入.首先戒了手机,每天就多了4个小时的富余时间,开始查看各大主流的外包项目网站.以前很佛系,没自己做过外包的 ...
- Python爬取码市项目
Python爬取码市项目 上周用java爬取了码市上的项目,这周用python试了一下,代码如下. import requests import brotli from requests.except ...
- Python爬虫 | Python爬虫获取女友图片
Python爬虫 | Python爬虫获取女友图片 前言 程序说明 二次元女友获取程序 观察网页结构 页面解析 创建图片保存路径 图片下载 格式转换 爬取结果展示 完整程序 前言 (又到了常见的无中生 ...
- python爬虫项目实战教学视频_('[Python爬虫]---Python爬虫进阶项目实战视频',)
爬虫]---Python 爬虫进阶项目实战 1- Python3+Pip环境配置 2- MongoDB环境配置 3- Redis环境配置 4- 4-MySQL的安装 5- 5-Python多版本共存配 ...
- python人工智能方向面试准备_高薪直通车丨人工智能+Python面试经验分享(西安**思数据)...
原标题:高薪直通车丨人工智能+Python面试经验分享(西安**思数据) 高薪直通车 python面试经验分享(西安**思数据 ) 高薪直通车是西安校区独家打造,用于分享西安市场企业面试需求,直击面试 ...
- 学习python爬虫经验分享--爬取洛克王国宠物图片
写这个爬虫算是回忆一下童年吧 注:超简单的爬虫实例,想学python 爬虫的小伙伴可以参考参考.第一次写博客,还请多多包涵 一.环境准备 二.用到的库 三.每个库对应用到的方法 四.简单分析 五.代码 ...
- Python爬虫实战之一 - 基于Requests爬取拉勾网招聘信息,并保存至本地csv文件
Python爬虫实战之二 - 基于Requests抓取拉勾网招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于小白,本 ...
- 老司机带你学爬虫——Python爬虫技术分享
什么是"爬虫"? 简单来说,写一个从web上获取需要数据并按规定格式存储的程序就叫爬虫: 爬虫理论上步骤很简单,第一步获取html源码,第二步分析html并拿到数据.但实际操作,老 ...
- python贴吧爬虫-Python 爬虫练习: 爬取百度贴吧中的图片
背景:最近开始看一些Python爬虫相关的知识,就在网上找了一些简单已与练习的一些爬虫脚本 实现功能:1,读取用户想要爬取的贴吧 2,读取用户先要爬取某个贴吧的页数范围 3,爬取每个贴吧中用户输入的页 ...
最新文章
- Windows Socket 编程_ 简单的服务器/客户端程序 .
- 痞子衡嵌入式:第一本Git命令教程(7.1)- 清理之缓存(stash)
- SpringBoot学习(四)
- output在delete中的应用
- 使用oprofile查找性能瓶颈
- fmask云检测 matlab_ENVI5.3.1云检测工具
- PostgreSQL数据库——Pigsty pg_exporter
- (转载)Cisco 2960 交换机 安装配置基础
- 基于TTP223金属触摸开关电路模块原理图和PCB工程文件
- 编码:隐藏在计算机软硬件背后的语言(一)编码
- Mac上安装虚拟机搭载window系统
- java.lang.RuntimeException: A TaskDescription‘s primary color should be opaque
- 基于asp.net738房屋租赁管理系统
- 【冰点】:重庆“高烧”不退
- Java日期有效性验证
- 微信小程序 GET请求 与POST 请求
- 传说中的ARM架构与X86架构
- 基准测试神器 - JMH [ Java Microbenchmark Harness ]
- RedisTemplate常用集合之boundValueOps
- 为了你我都有个好的身体--修炼下易筋经吧