基于Python、scrapy爬取软考在线题库

前言

前段时间，报名个软件设计师考试，自然需要复习嘛，看到软考在线这个平台有历年来的题目以及答案，想法就是做一个题库小程序咯，随时随地可以打开复习。很多人问，这不出现很多类似的小程序了？是的，但是他们的要不需要付费，要不一大堆广告，这激发我自己做一个小程序的想法。

实战爬取题库

随便找一科(这里就拿软件设计师上午题吧)

进入某一道题目点击查看答案，会出现要开通权限才行，正好有一个免费开通的方式，通过IP数量兑换(这么说，这种营销模式很ok，达到宣传效果。但是咧，爱折腾的博主就是爱折腾，怎么能够说我要找几十个人帮我点击一下链接吧。) **敲重点啦，**你用手机浏览器打开刚刚官方给链接，切换飞行模式就可以实现获得IP的方法。博主吐槽的是浏览器竟然不做缓存处理，随便就可以得到IP。

接着分析ajax中获取答案

首先试下复制红色框中url链接直接浏览器打开，OK，发现能够打开，说明没有做任何接口限制，所以可以推断前面通过IP数量兑换权限天数的是一个形同虚设的东西。
接着分析url中参数的意思，product_id、tixing、answer、paper_id、tihao、cache这几个参数。猜测product_id应该唯一的东西，请求接口应该只需要这个参数就ok吧。实践是检验真理的唯一标准。把链接改成如下，只有product_id传入参数尝试，能打开并且可以显示出需要的答案。鉴定猜想没有问题。
```
http://www.rkpass.cn/tk_jiexi.jsp?product_id=201811151131523818812&tixing=xuanze&answer=&paper_id=&tihao=&cache=
复制代码
```
如何获取product_id？既然是唯一性的东西，这值肯定会后端回传过来，如果后端没有分离那肯定渲染在html中，若是前后端完全分离那肯定包含在请求题目的接口中。很巧，不是前后端完全分离的项目，那肯定是在html中咯，常规操作鼠标右键->显示网页源代码->Ctrl+F搜索就完事。果不其然，出现想要的的值。

上面两步是分析的过程，下午题也是差不多啦。剩下的就是爬下来并且存入数据库中就OK。

这是博主自己用Python3+scrapy爬取实现代码Python基于Scrapy爬取www.rkpass.cn题目，赶紧star吧，支持下博主。

转载于:https://juejin.im/post/5c15f74a6fb9a049c965934e

基于Python、scrapy爬取软考在线题库相关推荐

基于java软考在线题库系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署
基于java软考在线题库系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署基于java软考在线题库系统计算机毕业设计源码+系统+lw文档+mysql数据库+调试部署本源码技术栈: ...
计算机毕业设计JAVA软考在线题库系统mybatis+源码+调试部署+系统+数据库+lw
计算机毕业设计JAVA软考在线题库系统mybatis+源码+调试部署+系统+数据库+lw 本源码技术栈: 项目架构:B/S架构开发语言:Java语言开发软件:idea eclipse 前端技术:L ...
java毕业设计软考在线题库系统mybatis+源码+调试部署+系统+数据库+lw
java毕业设计软考在线题库系统mybatis+源码+调试部署+系统+数据库+lw java毕业设计软考在线题库系统mybatis+源码+调试部署+系统+数据库+lw 本源码技术栈: 项目架构:B/S ...
Java毕设项目软考在线题库系统（java+VUE+Mybatis+Maven+Mysql）
Java毕设项目软考在线题库系统(java+VUE+Mybatis+Maven+Mysql) 项目运行环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Web ...
java毕业设计软考在线题库系统（附源码、数据库）
项目运行环境配置: Jdk1.8 + Tomcat8.5 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclis ...
基于selenium+scrapy爬取复仇者联盟4豆瓣影评数据
基于selenium+scrapy爬取复仇者联盟4豆瓣影评数据参考资料: 黑马程序员爬虫教程静觅爬虫教程 mac下anaconda安装selenium+PhantomJS scrapy下载中间件结 ...
Python scrapy爬取京东，百度百科出现乱码，解决方案
Python scrapy爬取京东百度百科出现乱码解决方案十分想念顺店杂可... 抓取百度百科,出现乱码把页面源码下载下来之后,发现全是乱码,浏览器打开但是浏览器链接打开就没有乱码以下是浏 ...
Python+scrapy爬取36氪网
Python+Scrapy爬取36氪网新闻一.准备工作: ①安装python3 ②安装scrapy ③安装docker,用来运行splash,splash是用来提供js渲染服务(pyth ...
软考刷题利器—软考云题库Web版
之前有朋友说小程序刷题有时不太方便,想在电脑上刷题,能不能开发个Web版,后来就有了软考云题库的Web版. 项目采用了SpringBoot 2.0+JPA+Thymeleaf 模板+Bootstrap ...