软考试题希赛网爬取过程分享二

承接上篇【软考试题希赛网爬取过程分享一】的列表特性分析，该篇主要目的获取每日一练列表，获取目标数据试题分析的URL（看过此篇，可达到手把手教你爬取内容精准分析）

获取列表

首先完成成功获取【每日一练】标题和查看【每日一练】的url
第一页的id特性（开始做题）

第二页的id特性（继续做题）

""""获取每日一练id"""
def getList():urllist = "https://www.educity.cn/tiku/dp100110021008-1.html"r=requests.get(urllist,headers=header)html = etree.HTML(r.content)"""templist 获取所有列表的集合"""templist = html.xpath("//div[@class='ecv2_tikucom_doItem clearfix']")daylist = []for v in templist :title = v.xpath(".//div[@class='ecv2_tikucom_doTitle ecv2_marginbottom16']/text()")[0]"""匹配id的时候有两种情况，上一篇已经提到"""a = v.xpath(".//a//@href")[0]if(a=='javascript:;'):a = v.xpath(".//a//@data-accessid")[0]id = re.findall(r'\d+', a)day = {'title':title,'tcid':id[0]}daylist.append(day)return daylist

运行该函数查看结果

获取目标数据url

经多次点击【考试模式】，【我要交卷】观察到同一天的测试题的测试ID是不固定的，不像我们的新闻那样，url中的id是固定值

点击我要交卷获取试题讲解的url

由此可以得出，我们需要通过第一次爬取的ID，生成测试ID，拼接试题url即可直接找到试题分析的页面

按照以下过程查看如何获取测试ID
1、F12打开控制台选择network
2、点击clear，点击【考试模式】

3、找.do结尾的文件的并打开preview包含ID值比如为：5779393的文件

4、查看 headers,看下请求此接口需要传递的参数是不是都已经获取到了

这个tcid正好是我们上步爬取获取的id

Request URL: https://uc.educity.cn/ucapi/uc/paper/loadNotEndTestLog.do
tcId: 30024583
构建函数请求获取试题解析ID

"""第二步尝试获取测试ID"""
def getStid(id):data={'tcId': id}urllist = "https://uc.educity.cn/ucapi/uc/paper/loadNotEndTestLog.do"r = requests.post(urllist, data=data, headers=header)tempjson = json.loads(r.content)# 结果要转jsonprint(tempjson)print(tempjson['model']['id'])# 安返回结果结构逐级获取目标ID
getStid(30025788)

综合getList和getStid可循环获取所有的ID

有测试ID拼接试题解析的url：https://uc.educity.cn/tiku/testReport.html?id=5760667

软考试题希赛网爬取过程分享二相关推荐

2016年下半年信息系统项目管理师真题及答案_信息系统项目管理师历年真题及权威答案_信息系统项目管理师试题及模拟题_软考考试题库_希赛网...
2016年下半年信息系统项目管理师真题及答案_信息系统项目管理师历年真题及权威答案_信息系统项目管理师试题及模拟题_软考考试题库_希赛网 2016年下半年信息系统项目管理师真题及答案_信息系统项目管理 ...
河师大计算机技术专硕复试考什么,2021河南师范大学教育学硕士复试考什么-复试时间 - 希赛网...
2021年全国硕士研究生初试已经全面结束,报考2021年教育学专业研究生的考生们进入复试备考环节.以下是希赛网教育学考研频道整理的2021年河南师范大学教育学硕士复试时间及教育学考研复试考试内容详细说 ...
程序猿必备福利之二上篇！！！简易使用Nodejs实现从美图网爬取清晰脱俗的美图？？？
当然这里为了能够让小白也能够看懂学会,我会说的很详细,我很体谅小白的哦,分了几篇讲解,请谅解哦这里先来一波看前美图福利,激起你的学习欲望,嘿嘿嘿!!!点击查看程序猿必备福利之二下篇##### 小白如 ...
信息系统项目管理师教程（第3版）电子书_信息系统项目管理师教程_希赛网
信息系统项目管理师教程(第3版)电子书_信息系统项目管理师教程_希赛网信息系统项目管理师教程(第3版)电子书_信息系统项目管理师教程_希赛网 posted on 2017-04-24 14:25 l ...
教资综合素质计算机试题及答案,2019上半年教师资格证中学综合素质真题及答案-教资真题2020 - 希赛网...
以下是希赛网教师资格频道为广大考生整理的2019年上半年教师资格证中学综合素质真题及答案,只有通过多做真题才能更好的把握考试出题的规律,才能找到做题的感觉,到了真正上考场的时候才不会慌 .看看这些真题 ...
安徽大学历年计算机考研复试分数线,安徽大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了安徽大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年安 ...
辽宁大学计算机专业专硕分数线,辽宁大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了辽宁大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年辽 ...
山大计算机技术专硕历年分数线,山东大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了山东大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年山 ...
杭师大计算机专业专硕录取线,2017-2020杭州师范大学心理学硕士分数线汇总-心理学考研复试线 - 希赛网...
考研初试分数能否过线是决定考生是否能拿到进入理想院校的第一张入场券,所以目标院校初试分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网心理学频道为考研学子们整理汇总了2017-2020年 ...
扬州大学计算机专业考研分数线,扬州大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了扬州大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年扬 ...

软考试题希赛网爬取过程分享二

获取列表

获取目标数据url

综合getList和getStid可循环获取所有的ID

软考试题希赛网爬取过程分享二相关推荐

最新文章

热门文章