python扇贝单词书,成功使用Python爬虫扇贝单词库实现自动测试我们的单词量
import time
import requests
import re
from openpyxl import workbook#导入我们要用到的库
from bs4 import BeautifulSoup as bs
class TestYourWord:
#这个功能复制下来,并且做点改良,搞一个网页版没有的功能 ———— 自动生成错词本
def __init__(self):
self.start_url = 'https://www.shanbay.com/bdc/client/vocabtest/welcome'
#请求头,浏览器模拟
#设置这一步的目的是为了伪装我们的爬虫,防止被识别出来
#由requests自动生成的headers,可被服务器轻易识别为爬虫,所以我们要进行伪装
self.headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
}
self.which_test = int(input('请输入你想要选择的题库:(数字1-10)'))
def getHtml(self):
gu = self.start_url #url生成器
html = requests.get(gu,headers=self.headers)
soup = bs(html.text,'html.parser')
items=soup.find('div',class_='type-content').find(a)
for item in items:
print(item)
return html
def getData(self):
res = self.getHtml()
data=res.json
print(data)
if __name__ == '__main__':
start = time.time()
test = TestYourWord()
test.getData()
问题出现在我们是一个动态网页,应该在XHR里面找内容,
把链接改成上图所示的链接则可以成功提取数据了。
打印Json文件可以得到如下内容
请输入你选择的词库编号,按Enter确认
1,GMAT 2,考研 3,高考 4,四级 5,六级
6,英专 7,托福 8,GRE 9,雅思 10,任意
>1
[['GMAT', 'GMAT'], ['NGEE', '考研'], ['NCEE', '高考'], ['CET4', '四级'], ['CET6', '六级'], ['TEM', '英专'], ['TOEFL', '托福'], ['GRE', 'GRE'], ['IELTS', '雅思'], ['NONE', '任意']]
我们定位到相应的词库可以得到相应的新json文件
标签:__,GRE,Python,自动测试,单词,headers,html,import,self
来源: https://blog.csdn.net/weixin_44991673/article/details/112064367
python扇贝单词书,成功使用Python爬虫扇贝单词库实现自动测试我们的单词量相关推荐
- 自学python买什么书比较好-python官方推荐30本面向初学者的书籍!你看过几本?...
现在大多数初学者学习python都是看教学视频,但是小编想说的是,如果你能把一本书籍认认真真的读完,那么比你看教学视频的效果要好的多!今天小编就来带大家看看python官方推荐的30本面向初学者的书籍 ...
- 自学python买什么书比较好-python入门学习哪个书比较好(python视频教程知乎)
自学python的学习路线是什么?推荐一些python学习资源 第一段 初级,掌握Python的语法和常用库的使用 这里首先推雪锋在网上的书籍,这是Python2.7的,这本书适合于重头开始一直读完, ...
- 自学python需要买书吗-学习Python的正确姿势—基础教学,教科书该怎么买?
学习Python的正确姿势-基础教学,教科书该怎么买? 2019-05-07 18:52:46 23点赞 377收藏 4评论 写在前面: 四月读书季,京东图书大促销,赶上优惠的尾巴,抢购了几本心水很久 ...
- python基础教程书-7本Python必读的入门书籍
Python入门书籍不用看太多,看一本就够.重要的是你要学习Python的哪个方向,或者说你对什么方向感兴趣,因为Python这门语言的应用领域比较广泛,比如说可以用来做数据分析.机器学习,也可以用来 ...
- 想学python看什么书-想学习Python做数据分析,应该看哪些书?
一.Python编程 /> 本书是一本针对所有层次的Python 读者而作的Python 入门书.全书分两部分:第一部分介绍用Python 编程所必须了解的基本概念,包括matplotlib.N ...
- 计算机二级python用什么书-计算机二级Python考试有什么学习资料?
看到了这个问题就过来了(题主大三,这学期刚通过Python二级考试),一方面是想回答题主,提供初学朋友一些帮助,另一方面也是想对初学Python的那段时光做一些回忆与记录. 想看干货可以直接跳到建议部 ...
- 学python有哪些书推荐-学python看什么书好?求推荐
<Python简明教程>:这是一本只有100页左右的小册子,你可以迅速的浏览并敲一遍代码,或多或少都会提升你的Python基础能力: <笨方法学Python>:这本书同样非常的 ...
- 零基础自学python看什么书-零基础Python入门看哪本书好?这里有答案
原标题:零基础Python入门看哪本书好?这里有答案 Python入门看哪本书好呢?Python入门不知道该选哪本书?Python入门没有一本好书引导,会很难吗?你还在为这些问题困扰吗?今天小编就来解 ...
- 虫师python appium自动化测试书_基于python的Appium自动化测试的坑
真的感谢@虫师 这位来自互联网的老师,让我这个原本对代码胆怯且迷惑的人开始学习自动化测试. 一开始搜索自动化测试的时候,虫师的博客园教程都是在百度的前几位的,我就跟着虫师博客园里面的教程学习.后来学s ...
最新文章
- sql 去除字段前后空格
- 综述|深度学习在SLAM定位与建图中的应用(近250篇参考文献)
- JQuery的无缝滚动
- java word 转换 图片_怎样把手机上的图片转换成word?
- CSS Scrollbar (滚动条)
- 插件式架构设计实践一:插件式系统架构设计简介
- offsetLeft,Left,clientLeft的区别
- ReadWriteLock1.8源码
- java 两个数据合并_R:两个数据帧合并
- golang 遍历list_golang服务开发平滑升级之优雅重启
- eclipse中利用hibernate插件,根据数据库表反向生成Javabean
- Java实现大写金额转小写金额
- 淘宝省市区获取,淘宝国家省市区数据获取 2018-01-09更新
- lombok slfj 中_Lombok快速入门
- ttk python_python GUI ttk库 -- Apple的学习笔记
- 史上最全,几百本常用书籍等你来取(面试,java,c,大数据,AI,python,数据结构等)
- 地图 显示 动态轨迹_动态轨迹怎么制作?华为Watch GT2轻松搞定
- Spring boot JPA+Gradle+QueryDSL 完美配置生成Q文件依赖
- 微信小程序调用导航,uniapp打开本地导航软件
- Kotin学习手记——类、接口、扩展方法、空类型