Python爬取扇贝“【无老师】7天搞定TOEFL单词”

#!/usr/bin/env python3
from bs4 import BeautifulSoup
import requests
import csv
import bs4
import codecs#检查url地址并返回网页contents
def check_link(url):try:r = requests.get(url)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print('无法链接服务器！！！')# 判断一个unicode是否是英文字母
def is_alphabet(uchar):         if ('\u0041' <= uchar<='\u005a') or ('\u0061' <= uchar<='\u007a'):return Trueelse:return False#爬取表格数据
def get_contents(urlist):'''urlist: a list containing all the useful urls'''result = []for url in urlist:content = check_link(url)soup = BeautifulSoup(content,'lxml')trs = soup.find_all('tr')for tr in trs:ui = []for td in tr:ui.append(td.string)result.append(ui)return result#爬取URL链接
def get_urls(url_content,root_url="https://www.shanbay.com"):'''get all the urls from url_content and save into a list'''ulist = []soup = BeautifulSoup(url_content,'lxml')urls=soup.find_all('a')  for url in urls:  try:if url.string.startswith('【无老师7天TOEFL】List'):ulist.append(root_url+url.get('href'))for j in range(2,11):extend_url = root_url+url.get('href')+'?page='+str(j)ulist.append(extend_url)except:passreturn ulistdef save_contents(result):'''result: all the useful result from urls'''with codecs.open('shanbay.csv', 'w', 'utf_8_sig') as f:writer = csv.writer(f)for i in range(len(result)):try:if is_alphabet(result[i][1]):   writer.writerow([result[i][1],result[i][3]])print("write in line:",i)except:print("error in line:{}, contents is:{}".format(i,result[i]))def main():src_url = "https://www.shanbay.com/wordbook/5440/"# get the contents in source pagesrc_content = check_link(src_url)#get all the useful urls in source pageurls = get_urls(src_content)# scrapy all the useful contents from all the urlsresult = get_contents(urls)#save all the useful contents into csv save_contents(result)main()

效果图：

Python爬取扇贝“【无老师】7天搞定TOEFL单词”相关推荐

Python爬取扇贝Python必背词汇
一.需求分析爬取网址:http://www.shanbay.com/wordlist/110521/232414/ 需求: 获取所有的 python 词汇数据,形成字典,存储数据. 二.代码实现 # ...
Python爬取考研张宇老师新浪微博-ajax加载
新浪微博中的数据采用Ajax加载进行显示,ajax加载即由JavaScript向服务器发送了一个请求来获取新的微博数据,并将其解析,最终将其渲染在网页中. ajax的分析方法: 一.分析请求对于考研 ...
Python爬虫-爬取扇贝单词(Xpath)
爬取扇贝单词 ====================== ====================================================================== ...
Python爬取高清无版权美图
前言做公众号,总是会需要使用一些图片做封面或背景.我的公众号的图片有两种来源:一是通过创可贴自己动手修改下就可以用了,还一种就是在网上下载图片. 那如何下载高清并且可以供使用(无版权)的图片了?我是 ...
python爬取微博评论（无重复数据）
python爬取微博评论(无重复数据) 前言一.整体思路二.获取微博地址 1.获取ajax地址2.解析页面中的微博地址3.获取指定用户微博地址三.获取主评论四.获取子评论 1.解析子评论2.获 ...
Python 爬取 201865 条《隐秘的角落》弹幕，发现看剧不如爬山？
作者 | 朱小五责编 | 屠敏封图 | CSDN 付费下载自东方 IC 最近又火了一部国产剧:<隐秘的角落>. 如果你没看过,那可能会对朋友圈里大家说的"一起去爬山" ...
Python爬取《隐秘的角落》弹幕数据，实现简单可视化（附源码）
工具使用开发环境: win10.python3.6 开发工具: pycharm 相关模块 : requests,stylecloud 思路分析 1.爬虫获取数据爱奇艺的弹幕数据是以 .z 形式的压 ...
python爬取网站时，一键获取headers、url等信息（真的是让我爬取网站时，省了不少力气，作为小秘密分享给大家喽）
python爬取网站时,一键获取headers.url等信息 (真的是让我爬取网站时,省了不少力气,作为小秘密分享给大家喽) 作为Python的使用者,我今天就和大家来分享分享我学习python的经验 ...
python爬取bilibili弹幕_用Python爬取B站视频弹幕
原标题:用Python爬取B站视频弹幕 via:菜J学Python 众所周知,弹幕,即在网络上观看视频时弹出的评论性字幕.不知道大家看视频的时候会不会点开弹幕,于我而言,弹幕是视频内容的良好补充,是一 ...

Python爬取扇贝“【无老师】7天搞定TOEFL单词”

Python爬取扇贝“【无老师】7天搞定TOEFL单词”相关推荐

最新文章

热门文章