python3爬虫扒云班课资源
文章目录
- 准备工作
- 操作部分
云班课网页版的设计有点令人恼火啊,想下一个东西都比较麻烦。以前非羽也是喜欢从手机里下好然后传到电脑上,说实施自己都感觉有点麻烦,后面学了一点web的知识后也是可以自己在电脑上一个一个点啊,但感觉还是有点慢,所以又学了一点爬虫的东西,做了这么一个小程序,希望对大家有帮助。
准备工作
打开云班课的网页版,退出至登录界面(当然,如果你一般不选择记住密码的话就当我没说吧)。并按下键盘上的“f12”键。
差不多是这个界面,然后我们点击那个栏目中的“network”栏目,然后点击“登录”,可以看到里面多了这么多小标题,然后我们点击子栏目“type”让它们按type升序排列。
选择以document为type的小标题,点开。并在里面找到以cookie为标题的字段。
操作部分
把代码中的cookie改成你刚刚查到的cookie,然后把myurl改成你想要扒的那个资源界面的网址,再把targetdir改成你想要存在的文件夹(最后一个文件夹可以不存在,会创建,中间的部分尽量写存在的)就可以了。
操作代码:
import requests # 导入requests库
import re # 写正则表达式要导入的
import oscookie = ""
header = {"Cookie": cookie,'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko','Connection': 'Keep-Alive'
} # 给请求指定一个请求头来模拟chrome浏览器
targetDir = ""#你想要保存在的文件夹地址myurl=''
res = requests.get(url=myurl , headers=header)
# 像目标url地址发送get请求,返回一个response对象res.encoding = 'utf-8' # 把获取到的源代码格式改为utf-8,避免汉子乱码
html = res.textchapter_photo_list = re.findall(r' data-href="(.*?)"', html)
chapter_name_list = re.findall(r' title=".*?>(.*?)<', html)print(len(chapter_photo_list))
print(len(chapter_name_list))if not os.path.isdir(targetDir):os.mkdir(targetDir)
os.chdir(targetDir)
# 切换路径至上面创建的文件夹
n= len(chapter_photo_list)for i in range(0, n):print(i)url = chapter_photo_list[i]img = requests.get(url)file_name = chapter_name_list[i]print("开始下载"+file_name)f = open(file_name, 'ab')f.write(img.content)print(file_name + "下载完毕")f.close()
因为非羽也是一名半路出家的初学者,所以也是可能存在着这么多的问题,代码仅供参考,仅供学习用途,也希望和大家一起讨论。
python3爬虫扒云班课资源相关推荐
- 【Python爬虫】爬取云班课资源,活动
CSDN不让放(因为真的很好用哈哈哈),这里放博客园链接: [Python爬虫]爬取云班课资源,活动
- 关于电脑端如何下载云班课资源---将云班课资源下载到本地
浏览器:Microsoft Edge 步骤如下: 1.找到要下载的资源 2.右键----点击检查 3.ctrl+F ,打开搜索框 4.在搜索框输入data-href 5.双击data-href 后的链 ...
- 怎么上传云班课的计算机作业,太棒了!云班课助你轻松玩转这9种作业!
作业,不仅仅是课堂教学的延伸,也不仅仅是课堂教学的巩固和提高,作业还具有独立的课堂教学价值,包括过程性学习评价.个性化教学指导等.可以说,作业是学科课程实施的重要组成部分. 然而,高校课程教学的作业情 ...
- 云班课作业互评(python3+selenium)
本文章最初发布在 XJHui's Blog,未经允许,任何人禁止转载! 注意:最新修改版本已发布在 这里,点击前往查看! Yunbanke-auto 云班课作业互评(python3+selenium) ...
- 基于蓝墨云平台的计算机教学,基于蓝墨云班课的中职计算机“分层教学”模式探究...
崔月娇 一.教学现状概述 一方面,我校是面向全国招生,部分欠发达地区的学生由于资源配置导致计算机基础相当薄弱,而来自发达地区的学生早早地接触了计算机,部分计算机基础操作已相当熟练,学生的计算机水平参差 ...
- 云班课在计算机,云班课电脑版
软件简介 <云班课电脑版>是时下一款免费的智能教学助手软件.在这里,本款软件融入了人工智能技术,让用户可以体验到更加高效的课堂互动教学感受,而且还支持创建自己的云班级,方便教师们的管理.对 ...
- 云班课计算机基础测试题,云班课在高职计算机基础微课教学中应用探究.doc
云班课在高职计算机基础微课教学中应用探究 云班课在高职计算机基础微课教学中应用探究 摘要:本文基于云班课在高职计算机基础微课的教学应用,探讨了在移动"互联网+"课堂背景下,基于云班 ...
- 计算机云教室管理制度,经济管理学院云班课全过程考核量化细则
为了规范全过程考核管理,保证教学评价质量,促进我院信息化教学改革深入,优化教学过程和效果,特制订本细则. 一.总则 全过程考核是我院信息化教学的重要组成部分,是我院教学评价方式的一次革新,其目的在于通 ...
- 云班课计算机第二阶段测试卷,云班课测试题答案
云班课测试题答案 更多相关问题 [单选] 秘书的接待工作应遵守以下原则,诚恳热情.讲究礼仪.周到细致.内外有别,确保安全和(). [单选] 电话按通话范围可分为(). [单选] 档案行政处罚的种类包括 ...
- 补交20145226蓝墨云班课 -- MyCP
蓝墨云班课 -- MyCP.java 具体描述: 编写MyCP.java 实现类似Linux下cp XXX1 XXX2的功能,要求MyCP支持两个参数: java MyCP -tx XXX1.txt ...
最新文章
- AI一分钟 |世界上第一个无人驾驶出租车在迪拜投入使用,2030年无人驾驶将覆盖迪拜25%的交通行程
- CNVD初次获取的源代码格式
- rocketmq 消息 自定义_rocketMq-Topic创建过程
- mpi tcp连接报错_MPI分布式编程 --3.OpenMPI多节点运行报错
- [css] 当页面采用rem布局时,如何解决用户设置字体大小造成的页面布局错位?
- 前端:JS/35/二级联动菜单,select对象,select对象的属性,option对象,option对象属性,实例:省份列表与城市列表的联动
- 老司机请注意:POS机可盗刷ETC联名卡
- list集合根据jsonobjectvalue排序_Java之List集合两种排序的性能比较
- 【浙江省第16届省赛E:】Sequence in the Pocket(思维--不模拟复杂过程)
- 植被净初级生产力(NPP)的计算
- CSS——div垂直居中及div内文字垂直居中
- 摄像机高精度标定的一些方法
- ToggleSwitch控件介绍
- 混合罚函数法matlab报错,罚函数法MATLAB程序
- 同济子豪兄-机器学习基础
- redis配置文件样例(二)
- 八连测之一fateice-string
- 最新quickcocos2dx环境搭建版本指南
- 盖尔金圆定理及严格对角占优矩阵(SDD)
- Educoder计算机数据表示实验(HUST)第5关:16位海明编码电路设计