Python爬虫入门案例：获取百词斩已学单词列表

本文首发在我的个人博客：https://jlice.top/p/6sjd1/。欢迎大家前去参观，么么哒~

百词斩是一款很不错的单词记忆APP，在学习过程中，它会记录你所学的每个单词及你答错的次数，通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住。我们来用Python来爬取这些信息，同时学习Python爬虫基础。

首先来到百词斩网站：http://www.baicizhan.com/login

这个网站是需要登录的，不过还好没验证码，我们可以先看下在登录过程中浏览器POST了哪些数据。打开浏览器开发工具（F12），以Chrome浏览器为例，记录登录过程中浏览器的Network情况：

我们可以发现，在登录过程中，浏览器向http://www.baicizhan.com/login以POST方式提交了数据。提交了什么数据呢？我们可以在下面的Form Data里看到。

其中，email是用户名，raw_pwd就是密码，这里的数据是需要经过URL编码的，我们可以点view URL encoded查看编码后的样子。URL编码需要urllib库。

在请求头（Request Headers）部分，我们还看到了Cookie。因此，我们还需要cookie库，来处理我们的Cookie。

import urllib
import urllib2
import cookielibemail = 'your_email'
pwd = 'your_password'
data = {'email':email,'raw_pwd':pwd}
post_data = urllib.urlencode(data)opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))response = opener.open('http://www.baicizhan.com/login', post_data)
print(response.read())

这样，我们可以发现，打印的是登录后的页面源码，这说明我们成功实现了登录。

接着，我们来分析下单词列表的页面：http://www.baicizhan.com/user/words/list

当我们点击页码时，实际上是发送了GET请求。然后我们看Response，发现是个json，我们解析下看看（可以到http://www.json.cn/在线解析json）

如果要在Python中解析json，我们需要json库。我们打印下前两页的单词看看：

import urllib2
import cookielib
import urllib
import jsonemail = 'your_email'
pwd = 'your_password'
data = {'email':email,'raw_pwd':pwd}
post_data = urllib.urlencode(data)opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookielib.CookieJar()))opener.open('http://www.baicizhan.com/login', post_data)for i in range(1, 3):content = json.loads(opener.open("http://www.baicizhan.com/user/all_done_words_list?page=%s"%i).read())for word in content["list"]:print word["word"]print word["word_meaning"].strip()print word["wrong_times"]

这样，我们就能打印出前两页的单词以及释义、错误次数。

至于要把所有已学单词都获取到，只需要稍作修改即可，之后我们便能把这些数据存储进行一些后续的处理。

Python爬虫入门案例：获取百词斩已学单词列表相关推荐

爬虫爬取python词汇_Python爬虫入门案例：获取百词斩已学单词列表
百词斩是一款很不错的单词记忆APP,在学习过程中,它会记录你所学的每个单词及你答错的次数,通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住.我们来用Python来爬取这些信息,同时学习 ...
python写爬虫要记的单词_Python爬虫入门案例：获取百词斩已学单词列表
百词斩是一款很不错的单词记忆APP,在学习过程中,它会记录你所学的每个单词及你答错的次数,通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住.我们来用Python来爬取这些信息,同时学习 ...
python爬虫英文单词_Python爬虫入门案例：获取百词斩已学单词列表
标签: 百词斩是一款很不错的单词记忆APP,在学习过程中,它会记录你所学的每个单词及你答错的次数,通过此列表可以很方便地找到自己在记忆哪些单词时总是反复出错记不住.我们来用Python来爬取这些信息, ...
python爬虫入门案例day01：拼多多
python爬虫入门案例day01:拼多多目标网站拼多多目标网址 https://www.pinduoduo.com/ 开发环境 1.window11 2.python3.7 3.PyCharm ...
python爬虫入门教程pdf-从零开始学Python网络爬虫 PDF 原书扫描版
给大家带来的一篇关于Python爬虫相关的电子书资源,介绍了关于Python.网络爬虫方面的内容,本书是由机械工业出版社出版,格式为PDF,资源大小143.9 MB,罗攀编写,目前豆瓣.亚马逊.当当. ...
Python爬虫入门案例教学：批量爬取彼岸桌面4K超清美女壁纸
先图片开路环境介绍 python 3.6 / 3.8 pycharm 编辑器 requests parsel os 文件操作在cmd里面就可以进行安装 pip install requests 无 ...
python爬虫入门案例day11:街舞
引言今天小编来带领大家批量下载街舞视频爬虫应用 1.数据分析:2.商业领域: 开发爬虫的流程 1. 准备工作2. 获取数据3. 解析内容4. 保存数据 requests介绍 1.requests库 ...
python爬虫入门案例day10:珠宝图片
目标网址 http://pic.525zb.com/ 开发环境 1.window11 2.python3.7 3.PyCharm Community Edition 2021.2.1 4.双核浏览器 ...
Python 爬虫入门(1)获取豆瓣网页源代码
import urllib.request #引入第三方模块 url = "http://www.douban.com" #每一个网页都有一个唯一的名称标识通常称为UR ...

Python爬虫入门案例：获取百词斩已学单词列表

Python爬虫入门案例：获取百词斩已学单词列表相关推荐

最新文章

热门文章