python爬取大学生就业分析专科和本科的信息https://edu.jobui.com/major/（上）JSON的存储

一，爬虫步骤
1.导入模块json,requests,lxml
2.url地址
3,请求头
4.get请求 200正常访问
5.解码
6.找到节点
7.创建一个存储所有信息的列表
8.循环遍历li节点
9.创建一个字典来存储每个li的内容
10.找到要爬取的内容将它们存储到字典里面
11.将每个字典存储到列表里面
12.将列表存储到JSON文件里面
13.爬取完成提示

二，爬虫源代码

import json
import requests as r
from lxml import etreeurl = 'https://edu.jobui.com/major/'
hea = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.42'}
rel = r.get(url, headers=hea)
# print(rel)
cenet = rel.content.decode()
# print(cenet)
html = etree.HTML(cenet)
list_ol = html.xpath(".//ol[@class='tblist-list']/li")
list_xx = []
for ol in list_ol:d = {}zhuany = ol.xpath("a[@class='c33 tblist-second fs16 text-ellipsis']/text()")[0]d['career'] = zhuanyzhishu = ol.xpath("span[@class='tblist-third']/text()")[0]d['employment_index'] = zhishulist_xx.append(d)
with open('xx.json', 'w', encoding='utf-8') as f:json.dump(list_xx, f, ensure_ascii=False, indent=2)
print("爬取完成")

三，结果JSON

[
{
"career": "工程管理",
"employment_index": "310974"
},
{
"career": "计算机科学与技术",
"employment_index": "182780"
},
{
"career": "英语",
"employment_index": "160630"
},
{
"career": "自动化",
"employment_index": "159615"
},
{
"career": "材料成型及控制工程",
"employment_index": "129387"
},
{
"career": "统计学",
"employment_index": "127199"
},
{
"career": "软件工程",
"employment_index": "108064"
},
{
"career": "教育学",
"employment_index": "103145"
},
{
"career": "信息工程",
"employment_index": "102968"
},
{
"career": "金融学",
"employment_index": "92212"
},
{
"career": "项目管理",
"employment_index": "439843"
},
{
"career": "市场营销",
"employment_index": "99011"
},
{
"career": "人力资源管理",
"employment_index": "84706"
},
{
"career": "商务管理",
"employment_index": "83531"
},
{
"career": "会计",
"employment_index": "69064"
},
{
"career": "软件测试技术",
"employment_index": "58940"
},
{
"career": "教育管理",
"employment_index": "57999"
},
{
"career": "通信技术",
"employment_index": "49287"
},
{
"career": "旅游管理",
"employment_index": "48738"
},
{
"career": "计算机通信",
"employment_index": "48508"
}
]

python爬取大学生就业分析专科和本科的信息https://edu.jobui.com/major/（上）JSON的存储相关推荐

Python爬取并简单分析2024年普通高校招生专业（专业类）选考科目要求
推荐教材: <Python网络程序设计(微课版)>,ISBN:978-7-302-58312-7,董付国,清华大学出版社,2021年8月出版,京东.当当.淘宝均有销售配套资源: 教学大纲 ...
我用Python爬取了14年所有的福彩3D信息，彩民们，只能帮你们到这了
作者|丁彦军来源|恋习Python 前两天,在网上看到一个有意思的问题:彩票预测靠谱么?为什么还有那么多的人相信彩票预测? 暂且不说,彩票预测是否靠谱?彩票预测也分人而异,江湖上骗术很多,有些甚至会 ...
python爬虫能秒杀么_面试题之用python爬取并夕夕不同时段秒杀商品信息
先上效果图吧(因为确实也是刚入门,很多细节没有注意到的,各位尽管提出来) 并夕夕很多时候都在不停的有秒杀商品的活动,对于价格问题,我就没法讨论了,但是人家能吸引到这么多流量,真本事还是有些的. 我只在 ...
python 抓包秒杀_面试题之用python爬取并夕夕不同时段秒杀商品信息
先上效果图吧(因为确实也是刚入门,很多细节没有注意到的,各位尽管提出来) 并夕夕很多时候都在不停的有秒杀商品的活动,对于价格问题,我就没法讨论了,但是人家能吸引到这么多流量,真本事还是有些的. 我只在 ...
python爬历年大学生就业数据_Python就业行情和前景分析之一爬取数据
Python就业行情和前景分析之一爬取数据 http://zzdxb.baikezh.com/ 最近Python大热,就想要分析一下相关的市场需求,看一下Python到底集中在哪些城市,企业对Pyth ...
python爬取京东评论分析_【实战好文】|爬取京东书籍评论并分析
原标题:[实战好文]|爬取京东书籍评论并分析这是菜鸟学Python的粉丝第10篇原创投稿阅读本文大概需要5分钟本篇作者:小郑同学上周的赠书活动中,收到了楼主送的<利用Python进行数据 ...
python爬取全国房价并分析
使用方法程序原理数据来源数据爬取 mac下mysql安装&使用&创建库和表网站爬取分析网站数据抓取代码基础数据分析我相信国内房价一直都是苦逼程序员比较关注的事情,我也非常 ...
哪吒票房逼近40亿，用python爬取哪吒短评分析
目录前言分析具体步骤登录爬取与存储可视化分析结语前言暑期档电影惨淡,但随着哪吒爆红开拓了新局面.这也是国产动画的首次爆红.在哪吒刚出,笔者以为最多10亿就算不错的了.没想过仅过了几天 ...
python画哪吒_哪吒票房逼近30亿，python爬取哪吒短评分析
目录前言分析具体步骤登录爬取与存储可视化分析结语前言暑期档电影惨淡,但随着哪吒爆红开拓了新局面.这也是国产动画的首次爆红.在哪吒刚出,笔者以为最多10亿就算不错的了.没想过仅过了几天 ...

python爬取大学生就业分析专科和本科的信息https://edu.jobui.com/major/（上）JSON的存储

二，爬虫源代码

三，结果JSON

python爬取大学生就业分析专科和本科的信息https://edu.jobui.com/major/（上）JSON的存储相关推荐

最新文章

热门文章