背景

Coursera、edX、Udacity是国外三大MOOC平台，在中国用户最多的应该是Coursera。不同平台对于学科的分类有所区别，本文仅对如何爬取Coursera中学科的分类做简要说明。

功能描述

目标：获取Coursera搜索页面中的学科分类，并将结果输出并保存
输入：Coursera平台搜索页面的URL链接，https://www.coursera.org/browse
输出：平台中的学科分类屏幕输出，另外保存为CSV文件
技术路线：requests‐bs4‐re

定向爬虫可行性

Robots协议的使用
对网络爬虫来说，建议遵守但是非约束性，网络爬虫可以不遵守，但是有法律风险。

接下来手动查看Coursera的Robots协议，如图

本实例属于小规模爬虫，数据量小，仅供学习使用，因此可以选择性遵守。

程序的结构设计

步骤1：从网络上获取网页内容；
步骤2：提取网页内容中关于学科分类的信息；
步骤3：将结果保存，并输出到屏幕显示。

实例编写

步骤1中采用通用的爬取网页框架

def getHTMLText(url, code='utf-8'):'''爬取网页的通用代码框架'''try:kv = {'User-agent': 'Mozilla/5.0'}r = requests.get(url, timeout=30, headers=kv)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print("爬取失败")

步骤2的重点在于分析从何处能迅速找到分类信息，（在界面处点击F12或者Fn+F12），如图：

具体的实现方法

def getCourselist(stockurl, ilt):html = getHTMLText(stockurl)soup = BeautifulSoup(html, 'html.parser')ul = soup.find_all('div', attrs={'class': re.compile('.*slick-slide.*')})res = []for i in range(len(ul)):all_a = ul[i].find_all('a')for i in range(len(all_a)):cour_name = all_a[i]['href']if ('browse' in cour_name):ans = re.findall("[^/]+(?!.*/)",cour_name)  #用正则表达去掉 “/browse/”if ans[0] not in res:res.append(ans[0])return res

步骤3可以用Python中的csv库实现，当然也可以用pandas库实现。
全部的代码如下：

import requests
import regex as re
from bs4 import BeautifulSoup
import csvdef getHTMLText(url, code='utf-8'):'''爬取网页的通用代码框架'''try:kv = {'User-agent': 'Mozilla/5.0'}r = requests.get(url, timeout=30, headers=kv)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print("爬取失败")def getCourselist(stockurl, ilt):''' 从网页中获取分类信息'''html = getHTMLText(stockurl)soup = BeautifulSoup(html, 'html.parser')ul = soup.find_all('div', attrs={'class': re.compile('.*slick-slide.*')})res = []for i in range(len(ul)):all_a = ul[i].find_all('a')for i in range(len(all_a)):cour_name = all_a[i]['href']if ('browse' in cour_name):ans = re.findall("[^/]+(?!.*/)",cour_name)  #用正则表达去掉 “/browse/”if ans[0] not in res:res.append(ans[0])# print(ans)return resdef save_to_csv(res):'''将学科分类结果存储到csv'''output_file = r"D:\CSDN\coursera_search\couseracatg.csv" #根据需要更改路径with open(output_file, 'w', newline='') as f:writer = csv.writer(f, dialect='excel')writer.writerow(res)
def printCourselist(courselist):'''显示分类结果'''print("Coursera里学科分类为：")for cu in courselist:print(cu)def main():courseurl = "https://www.coursera.org/browse"courselist = []courselist = getCourselist(courseurl, courselist)save_to_csv(courselist)printCourselist(courselist)if __name__ == "__main__":main()

结果如图

实例优化

本实例属于比较简单的例子，没有提取出各种分类中的课程信息，下一个文档将介绍在本次实例结果之上，如何确定每一个学科分类中最受欢迎的课程或专项（specialization）。当然其他不足希望看到的各位同仁积极指正。

附加说明

网络爬虫的思想是将网页作为一个API接口，并从中获取需要的信息，即“The Website is the API”，其中最关键的工作是通过研究网页结构，找到如何提取所需要的信息。

Coursera学科分类爬虫实例介绍相关推荐

python如何爬虫股票数据_python爬虫实例，股票数据定向爬虫
前言我服了,这几天,怎么涨两天还不够跌一次,害.希望这个可以帮到自己! "股票数据定向爬虫"实例介绍功能描述目标:获取上交所和深交所所有股票的名称和交易信息输出:保存到文件 ...
python爬取大众点评数据_python爬虫实例详细介绍之爬取大众点评的数据
python 爬虫实例详细介绍之爬取大众点评的数据一． Python作为一种语法简洁.面向对象的解释性语言,其便捷性.容易上手性受到众多程序员的青睐,基于python的包也越来越多,使得python ...
Python爬虫实例（3）--BeautifulSoup的CSS选择器
Python爬虫实例紧接着上一讲的内容. 我们初步了解了bs4这个解析库. 但是bs4难道只有find,find_all了吗? 如果层次比较深,相似的元素比较多,和可能会写的比较长. 最主要的是很难 ...
python批量爬取小网格区域坐标系_Python爬虫实例_利用百度地图API批量获取城市所有的POI点...
上篇关于爬虫的文章,我们讲解了如何运用Python的requests及BeautifuiSoup模块来完成静态网页的爬取,总结过程,网页爬虫本质就两步: 1.设置请求参数(url,headers,co ...
python爬虫简单实例-Python 利用Python编写简单网络爬虫实例3
利用Python编写简单网络爬虫实例3 by:授客 QQ:1033553122 实验环境 python版本:3.3.5(2.7下报错实验目的获取目标网站"http://bbs.51tes ...
python3爬虫实例-python3.7简单的爬虫实例详解
python3.7简单的爬虫,具体代码如下所示: #https://www.runoob.com/w3cnote/python-spider-intro.html #Python 爬虫介绍 impor ...
python多线程爬虫实例-Python多线程爬虫简单示例
python是支持多线程的,主要是通过thread和threading这两个模块来实现的.thread模块是比较底层的模块,threading模块是对thread做了一些包装的,可以更加方便的使用. ...
python多线程爬虫实例-python支持多线程的爬虫实例
python是支持多线程的, 主要是通过thread和threading这两个模块来实现的,本文主要给大家分享python实现多线程网页爬虫一般来说,使用线程有两种模式, 一种是创建线程要执行的函数 ...
python爬虫实例-python3.7简单的爬虫实例详解
python3.7简单的爬虫,具体代码如下所示: #https://www.runoob.com/w3cnote/python-spider-intro.html #Python 爬虫介绍 impor ...
sci translate好用吗_228个学科分类对应12000+本SCI和SSCI期刊,总有你要的那款!
最近有很多小伙伴询问选刊的问题,而且都是非常具体的学科方向,我们的小编虽然非常热心且礼貌的回答"近期安排",但其实我们也感觉到鸭梨山大: 根据WOS最新一期(2020/9/21)名 ...

Coursera学科分类爬虫实例介绍