非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!
最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个“评估你的单词量”功能非常的好,就推荐给我了!
今天我们就用python做一个小的爬虫,然后自己写一个脚本来实现这个功能吧!
目标:打造一个英文词汇量测试脚本
url:扇贝网
工具:python3.6、pycharm、requests库
思路:
和网页一样,总共分三步:
先来看看网页中数据,用F12开发者工具抓包就可以
为了更好的演示,这里网页缩小了。
点击开始,在来看看出现了什么
这里我们抓到了一个包,这个json数据中包含了所有的类别或者说是级别,一共十大类,我们点击”响应”验证下
可以看到,显示内容在我们抓到的json数据中,但是0和1中的内容有的一样,有的不一样是什么鬼?不要急,我们先选择‘高考’,在抓下包看看
选择高考后,网页直接给出了第二步,50个单词选择,注意,先看下抓到的json数据的真实地址
还记得我们在第一步抓到的包吗?0里面就是这个真实地址最后的category的值,1里面是对应的显示在网页中的内容,好了,第二步的真实url也被我们找到规律了,那下来就是分析单词了,看看有什么规律,我们点开一个看看
有几个值非常重要,也是我们的目标:
Content的值是显示的单词
Definition_choices是需要我们判断的多个词义,中间包含有正确的词义,每个词义中的rank值应该是该词义的标识
rank值是正确的词义,也由此判断上述多个词义中的正确词义
ok,到这里我们就可以开始写代码了,具体过程就不一一说明了,没有反爬,全部是json数据的读取和判断,先放上我的代码
请大家忽略我那渣渣的英语水平和排版
由于这个网站非常简单,仅仅抓包就可以得到所有数据,没有任何反爬,所以,也是我们新手练手的好地方,大家都可以试试,如果有作出更漂亮的脚本,欢迎大家在评论区一起分享!
非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!相关推荐
- 学python要有多少英语词汇量测试_非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!...
最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个"评估你的单词量"功能非常的好,就推荐给我了! 今天我们就用python做一个小的爬虫,然后自 ...
- python英语词汇量测试_非常适合新手的一个Python爬虫项目: 打造一个英文词汇量测试脚本!...
最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个"评估你的单词量"功能非常的好,就推荐给我了! 今天我们就用python做一个小的爬虫,然后自 ...
- python爬虫英文单词_非常适合新手的一个Python爬虫项目:打造一个英文词汇量测试脚本...
最近朋友在苦学英文,但是又不知道自己学的怎么样了,直到有一天,他找到了扇贝网,里面有个"评估你的单词量"功能非常的好,就推荐给我了! 今天我们就用python做一个小的爬虫,然后自 ...
- 10-24-程序员日-我的第一个python爬虫项目-爬取蜂鸟上的图片
今天是诸位程序员的节日,为了1024勋章,我这个菜鸟也来发个博客 网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟浏览器发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序. 在 ...
- python新手练习项目_最适合新手练习的Python小项目!还是有难度的!用了五天整理...
要想实现web服务器,首先要明白web服务器应该具备怎样的功能:比如说浏览器发送了http请求(GET或POST),服务器要首先接收客户端发送的TCP请求,与之建立链接,然后接收http请求,解析并响 ...
- python爬虫新手项目-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
- 一个特别适合新手练习的Android小项目——每日一妹纸
原文链接 http://sparkyuan.me/ 转载请注明出处 介绍 当前版本V 1.2 刚开始学习Android的时候,主要就是学习了一些Activity的生命周期,各种View和Layout的 ...
- 有哪些适合新手练手的前端项目?
学习编程专栏连载编程新手练手项目系列之前端项目篇,同样也欢迎热爱学习.对Java感兴趣的朋友学习翻阅上三两篇内容.(连载系列的项目整理以后会在每个月进行一次重新整理,也欢迎大家进行项目的投稿,投稿请私 ...
- python难不难学-超级适合新手学习的python教程,入门其实不难?
在互联网时代很多人都希望掌握一个与互联网相关的知识,比如Python的知识就非常重要,因为无论是操作新媒体平台还是去制作一些软件,我们都需要掌握一些Python的技巧,而且学习一些Python的知识, ...
最新文章
- 找java培训机构如何挑选
- 2018寒假作业学习总结
- python的数组属性_[Python]numpy use array属性,pythonnumpy,使用,数组
- applicationContext.xml中的使用${}是代表什么意思?
- Spring Boot入门系列(十六)整合pagehelper,一秒实现分页功能!
- django用户认证系统——拓展 User 模型2
- 当浏览器输入url的时候发生了什么
- java编程语言的优点你知道几个
- ISA防火墙的基础应用与配置
- 【英语阅读】纽约时报 | 李子柒:隔离时期的田园“公主”
- hzhost防asp攻击函数
- PPT柱形统计图制作详情——小白秒变大神
- 苹果库乐队怎么玩_苹果上的库乐队,极其强大精美的录音神器!
- 南航数据分析与挖掘课设1(下)——基于多元线性回归模型,ARIMA序列的中国GDP增长影响因素研究及预测(R语言代码附录)
- 为什么说要学习全新的原生 JavaScript?
- 【EDA365电子论坛】硬件人经历南下、北上,回乡创业,后悔了吗?
- Factor_mimicking_portfolio(模仿因子的投资组合):EAP.fama_macbeth.Factor_mimicking_portfolio
- javascript简易留言板制作 -- 案例
- SpringBoot中Web容器配置和调优
- LGBMRegressor拟合函数官方文档