Python爬取中国大学MOOC课程信息
问题:获取中国大学MOOC平台的课程信息,包括开课学校、课程类别(标签)、课程名称、课程评分、评价人数和已参加课程人数。
思路:
1.进入中国大学MOOC首页,点击“学校”,进入学校页面(可直接获取单个url)
2.获取页面上所有学校url,保存到列表中(当前页上有所有学校url)
3.依次进入学校页面,获取所有课程的url(不止一页,需要翻页操作)
高亮:这一步要注意有的学校页面下没有课程没有课程没有课程,有的学校下只有一页课程!
4.进入课程页面,获取信息,存入列表
需要注意的就是几处点击操作,以及准确找到和提取目标文本
import requestsfrom bs4 import BeautifulSoupimport reimport timefrom selenium import webdriverimport pandas as pdimport csv ###爬取课程页信息###def GetDetail(url,result): driver=webdriver.Chrome() driver.get(url) time.sleep(2) html=driver.page_source bsobject=BeautifulSoup(html,"lxml") #print(bsobject) course_name=bsobject.find(class_="course-title f-ib f-vam").get_text() result.append(course_name) subject=bsobject.find(class_="breadcrumb_item sub-category").get_text() result.append(subject) num_of_join=bsobject.find(class_="course-enroll-info_course-enroll_price-enroll_enroll-count").get_text() result.append(num_of_join.split()[1]) num_of_mark=bsobject.find(id="review-tag-num").get_text() result.append(num_of_mark[1:-1]) a = driver.find_element_by_id("review-tag-button") a.click() time.sleep(2) html=driver.page_source bsobject=BeautifulSoup(html,"lxml") star=bsobject.find(class_="ux-mooc-comment-course-comment_head_rating-scores") #print(star) if star is not None: result.append(star.get_text()) #print(star.get_text()) else: result.append("") driver.close() #print(cont4)#url="https://www.icourse163.org/course/WHU-1457456166"#GetDetail(url) ###爬取单个页面###def getHTMLText(url): try: time.sleep(3) r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""###爬取首页所有高校页面链接###def getSchoolURLs(): school_ls=[] school_url_ls=[] html=getHTMLText(base_url) soup=BeautifulSoup(html) for link in soup.body.findAll(class_='u-usity f-fl'): if 'href' in link.attrs: #print(link.attrs['href']) school_ls.append(link.attrs['href']) #print(school_ls) for item in school_ls: school_url_ls.append("https://www.icourse163.org"+item+"#/c") return school_url_ls#print(school_url_ls)#生成目标学校url base_url="https://www.icourse163.org/university/view/all.htm#/" #首页urlSchoolURLs=getSchoolURLs() #得到存放了所有大学页面url的列表print(SchoolURLs) #成功 ###打开csv文件,写入文件头headers_of_csv=["学校","课程名称","科目","参加人数","评价人数","评分"]csvFile=open("中国大学MOOC课程信息3.csv","w+",newline='',encoding='utf-8')f_csv=csv.writer(csvFile)f_csv.writerow(headers_of_csv) results=[] #数组存放学校,课程名,科目,参与人数,评价人数,评分 for school in SchoolURLs: print("在读取的学校是:{}".format(school)) course_ls=[] course_url_ls=[] driver=webdriver.Chrome() #打开浏览器 def OpenSchoolWeb(url): driver.get(url) time.sleep(3) html=driver.page_source bsobject=BeautifulSoup(html,"lxml") cont=bsobject.findAll(class_="u-courseCardWithTime-container_a160") for items in cont: if 'href' in items.attrs: if items.attrs['href'] in course_ls: return course_ls.append(items.attrs['href']) #找到课程链接 for items in course_ls: course_url_ls.append("https:"+items) #构造完整url try: a = driver.find_element_by_link_text("下一页") #翻页 a.click() time.sleep(3) except: return OpenSchoolWeb(url) OpenSchoolWeb(school) #打开该学校页面并获取所有课程 driver.close() #关闭浏览器 CourseURLs=set(course_url_ls) #去重 print("找到{}门课程".format(len(CourseURLs))) for course in CourseURLs: print("在读取的课程是:{}".format(course)) result=[] result.append(str(school)[38:-3]) #第一个元素是该课程开设的高校 GetDetail(course,result) #爬取课程页面信息 f_csv.writerow(result) #写入数据 print(result) #成功csvFile.close #结束关闭csv文件
exm??? 不好意思调了很久实在不知道插入代码块怎么没给我保留缩进
那给个网盘链接吧:)
链接:https://pan.baidu.com/s/1ViUiAIagINJXUNVhDi2fyw
提取码:uh76
后记:1. 这次的问题其实是一个导论课期末论文作业,临近期末ddl比较多,从选题到数据采集、数据分析、数据可视化、撰写论文共耗时3.5天,赶工完成,质量不足见谅。(以及博主由于没学过面向对象程序设计不会class,所以代码写的很幼稚很纯C;分析和可视化也是直接用了excel…逃)2. 经博主检验代码可用(截止2020/6/2),但是不保证是否能够顺利爬取MOOC所有课程。博主让它爬了一晚上,第二天醒来发现电脑网络断了…(至于有没有被反爬我也不确定)然后拿了近800条数据走人:)3.代码写了1.5天的样子,可以说是整个过程中做的最认真的部分了吧。(第一次很不熟练一直卡)。几点体会:(1)提取元素的时候可以先考虑简单的方法,不行再考虑正则表达式匹配等复杂的方法(可能由于博主太菜啦也写不来正则…)印象较为深刻的是提取参加人数的时候发现“已有 3096 人参加”在文字和数字间其实有空格,所以只要用split()方法切开就可以取出数据。(2)之前只接触过requests,考虑过用post方法获取页面的response…后来发现…selenium真的香!(3)好好学习唉
Python爬取中国大学MOOC课程信息相关推荐
- python大学课程-Python 爬取中国大学 MOOC 课程
中国大学 MOOC 是网易旗下一款慕课视频教育网站.实话说,这是网易几款教育类产品中,我最喜欢的一个.自己也使用了一年多,观看视频都是需要联网的,但部分 MOOC 课程存在有效期,设定的学期结束即无法 ...
- Python 爬取中国大学 MOOC 课程
MOOC 课程存在有效期,设定的学期结束即无法观看. Course Crawler 这个爬虫工具的出现,则提供了极大的便利. 准备 第一步:安装 Python 3 环境 进入 Python 3 官网( ...
- 中国大学MOOC课程信息爬取与数据存储
版权声明:本文为博主原创文章,转载 请注明出处: https://blog.csdn.net/sc2079/article/details/82016583 10月18日更:MOOC课程信息D3.js ...
- 使用selenium + chrome爬取中国大学Mooc网的计算机学科的所有课程链接
目的:使用selenium + chrome爬取中国大学Mooc网计算机学科的所有的课程链接列表 思路:找到每个分页的节点属性为class="m-course-list" 的div ...
- 中国大学MOOC课程信息之数据分析可视化一
版权声明:本文为博主原创文章,转载 请注明出处:https://blog.csdn.net/sc2079/article/details/82263391 9月2日更:中国大学MOOC课程信息之数据分 ...
- python中国最好大学排名_国内大学排名如何?用Python爬取中国大学排名
国内大学排名如何?用Python爬取中国大学排名准备阶段需要的库robots协议上代码代码框架*获取url信息*解析信息*输出数据*主函数结果 准备阶段 新手入门,不喜勿喷,这篇文章的内容其实也是在中 ...
- 批量爬取中国大学MOOC网站的媒体资源
质量声明:原创文章,内容质量问题请评论吐槽.如对您产生干扰,可私信删除. 主要参考:https://github.com/Dayunxi/getMOOCmedia 三点说明: 感谢 中国大学MOOC ...
- 中国大学MOOC课程信息之数据分析可视化二
版权声明:本文为博主原创文章,转载 请注明出处:https://blog.csdn.net/sc2079/article/details/82318571 - 写在前面 本篇博客继续对中国大学MOOC ...
- python爬取中国大学(高校)基本信息
Python爬取中国大学(高校)基本信息 python爬取中国大学(高校)基本信息 简单的一个小爬虫,获取中国高校基本信息 一.输出到excel表格结果 二.代码 // An highlighted ...
最新文章
- Ubuntu14.04 64位机上安装cuda8.0+cudnn5.0操作步骤
- SpringMVC如何是使用自动注入@autowrid
- 自动渗透测试工具集APT2
- python中的列表生成式_生成器中的列表推导式
- 用cxf公布和调用web service
- Generate Java objects for FpML using JAXB and Maven: The Easy Way!
- asp 退出登录修改cookie能进入后台_深入浅出让你理解跨域与SSO单点登录原理与技术...
- 【APP接口开发】常用HTTP响应头状态码详解
- CSS 优化、提高性能的方法
- 计算机二级c语言选择题范围,计算机二级C语言考点选择结构
- 《OpenGL编程指南(原书第9版)》——3.3 顶点规范
- 数组实例的find() 和 findIndex()方法
- go bson转换成json_你会不会用Go语言实现redis的延时消息队列
- HTML期末网页设计——设计报告
- arcgis软件界面字体太小
- 友情链接加nofollow_如何在WordPress中Nofollow所有外部链接
- Flutter学习日记之底部导航栏BottomNavigationBar组件的使用
- 自大型人格分析,如何改变自大型性格?
- “远程主机强迫关闭了一个现有连接”问题的解决方法之一
- 520情人节送什么礼物合适、送给女生礼物推荐
热门文章
- Vue写一个答题模板组件
- 依赖树(dependecyTree)-语义边、两个词语之间的依赖边路径
- 【github】github问题集合
- 中文电码查询接口 标准中文电码查询程序结果
- 助手论坛斑竹一些胡言乱语
- 洛谷P3400 仓鼠窝(单调栈)
- java floor cell_英语翻译The cell floor and its composite liner system was sloped
- ISE综合工具XST综合约束相关
- 1一1剖面图方向_圆梦蓝天白云,补2019款1宝马1系提车+Alcantara方向盘作业
- ActiviteMQ 对于Consumers pending的限制问题