软考试题希赛网爬取过程分享一

作为开发人员，不论出于什么原因，都是有需求才有功能，才有我们描绘蓝图的机会或动力

承接上篇【python爬取软考每日一练试题存入数据库】的源码分享，这次着重开发思路和过程

爬取试题的起因（可略过）

之前总以为即使没有较高的学历，有能力，有学习力就可以了。可是，实际情况，当作为父母后，面临孩子上学，要积分的硬性要求，我又踏上了考试的征途。软考，作为码农，说这是对我们的赏赐都不为过。利用碎片化时间去刷试题，于是找到了希赛网的每日一练，但是，对我而言不太方便，于是有了爬取试题的冲动

目标网页分析【流程】

1、选择你感兴趣的科目，做一套每日一练的考试模式的试题，然后提交，跳转到试题分页页面。这个流程下来，试题分析页面就是我们最终要的数据包含试题、答案、分析。

2、我感觉爬取数据，定位目标数据是第一步，也是整个python运行结果后的最后一步。按照访问页面层层递进，得到：科目每日一练列表，有分页-》开始做题（继续做题）-》选择考试模式-》点击我要交卷-》每日一练试题分析列表

目标网页列表数据分析

++打开https://www.educity.cn/tiku/dp100110011003-1.html列表页面++

多次点击分页对比url变化：

https://www.educity.cn/tiku/dp100110011003-2.html
https://www.educity.cn/tiku/dp100110011003-3.html
https://www.educity.cn/tiku/dp100110011003-4.html
可得到页数page的位置

浏览器F12打开控制台：

首选选择Network，因为我更偏向于json文件

点击clear清除记录，然后F5刷新得到加载的所有资源列表
除去各种图片、html、js逐个点击其他文件，同时选中preview，最后发现，“.do”文件是它的接口文件，但是没有该列表的json数据，不要着急

然后选择elements查看源码视图选中每日一练

分析div层级结构，找到特征，为xpath做准备

经过以上步骤，我们初步可以确定列表特性

div的class="ecv2_tikucom_doItem clearfix"里面包含【每日一练】标题和查看每日一练的urlxpath的路径如下：xpath("//div[@class='ecv2_tikucom_doItem clearfix']")双斜线用的是相对路径关于url，有两种情况
<a href="javascript:;" data-accessid="/tiku/dp30022897" data-id="30022897" data-testid="5741829" data-subcode="100110021009" class="ecv2_btn_kszt jixuzuoti">继续做题</a><a href="/tiku/dp30026512.html" target="_blank" class="ecv2_btn_kszt">开始做题</a>所以在我们获取url的时候要分两种情况，分别取‘data-accessid’和‘href’的值a = v.xpath(".//a//@href")[0]
if (a == 'javascript:;'):a = v.xpath(".//a//@data-accessid")[0]

确定分页page的位置
url= "https://www.educity.cn/tiku/dp100110011003-{}.html".format(page)

软考试题希赛网爬取过程分享一相关推荐

2016年下半年信息系统项目管理师真题及答案_信息系统项目管理师历年真题及权威答案_信息系统项目管理师试题及模拟题_软考考试题库_希赛网...
2016年下半年信息系统项目管理师真题及答案_信息系统项目管理师历年真题及权威答案_信息系统项目管理师试题及模拟题_软考考试题库_希赛网 2016年下半年信息系统项目管理师真题及答案_信息系统项目管理 ...
河师大计算机技术专硕复试考什么,2021河南师范大学教育学硕士复试考什么-复试时间 - 希赛网...
2021年全国硕士研究生初试已经全面结束,报考2021年教育学专业研究生的考生们进入复试备考环节.以下是希赛网教育学考研频道整理的2021年河南师范大学教育学硕士复试时间及教育学考研复试考试内容详细说 ...
程序猿必备福利之二上篇！！！简易使用Nodejs实现从美图网爬取清晰脱俗的美图？？？
当然这里为了能够让小白也能够看懂学会,我会说的很详细,我很体谅小白的哦,分了几篇讲解,请谅解哦这里先来一波看前美图福利,激起你的学习欲望,嘿嘿嘿!!!点击查看程序猿必备福利之二下篇##### 小白如 ...
信息系统项目管理师教程（第3版）电子书_信息系统项目管理师教程_希赛网
信息系统项目管理师教程(第3版)电子书_信息系统项目管理师教程_希赛网信息系统项目管理师教程(第3版)电子书_信息系统项目管理师教程_希赛网 posted on 2017-04-24 14:25 l ...
教资综合素质计算机试题及答案,2019上半年教师资格证中学综合素质真题及答案-教资真题2020 - 希赛网...
以下是希赛网教师资格频道为广大考生整理的2019年上半年教师资格证中学综合素质真题及答案,只有通过多做真题才能更好的把握考试出题的规律,才能找到做题的感觉,到了真正上考场的时候才不会慌 .看看这些真题 ...
安徽大学历年计算机考研复试分数线,安徽大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了安徽大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年安 ...
辽宁大学计算机专业专硕分数线,辽宁大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了辽宁大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年辽 ...
山大计算机技术专硕历年分数线,山东大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了山东大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年山 ...
杭师大计算机专业专硕录取线,2017-2020杭州师范大学心理学硕士分数线汇总-心理学考研复试线 - 希赛网...
考研初试分数能否过线是决定考生是否能拿到进入理想院校的第一张入场券,所以目标院校初试分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网心理学频道为考研学子们整理汇总了2017-2020年 ...
扬州大学计算机专业考研分数线,扬州大学社会工作硕士历年复试分数线_社会工作考研分数线_复试线 - 希赛网...
目标院校考研分数线的高低变化,历年波动走势对考生来说是极为重要的信息,希赛网频道为考研学子们整理汇总了扬州大学社工考研历年复试分数线汇总(2015-2020),以供参考. 以下是2015-2020年扬 ...