传智播客视频python视频爬虫
使用步骤
1.引入库
代码如下(示例):
from selenium import webdriver
from time import sleep
import os
import requests
2.读入数据
代码如下(示例):
def get_urls(index1, index2):base_url = "https://new-bxgstorge.boxuegu.com/bxg/textbook/052/afterClassVideo/052"p=q=''if len(index1) == 1:p = "00"+index1else:p = "0"+index1if len(index2) == 1:q = '00'+index2else:q = '0'+index2url = base_url+p+q+'.mp4'return urldef get_dir(url):option = webdriver.ChromeOptions()# option.add_argument('headless')browser = webdriver.Chrome(chrome_options=optionyuybrowser.get(url)sleep(3)chapters = browser.find_elements_by_xpath("//div[@class='video-directory-content']""/div[@id='chapterPointsBox']/div[@class='el-scrollbar']""/div[@class='el-scrollbar__wrap']/div[@class='el-scrollbar__view']""/div[@class='chapter-item-box expand']")for index1, c in enumerate(chapters):chapt_name = c.find_element_by_xpath("div[@class='chapter-text ellipsis']/span[2]").textpath = "F:\\video\\" + chapt_nameif not os.path.exists(path):os.makedirs(path)dchapt_names = c.find_elements_by_xpath("div[@class='points-box']/div[contains(@class,'point-item-box')]/""span[@class='point-text-box']/span[@class='point-text ellipsis']")for index2, dchapt_name in enumerate(dchapt_names):mv_path = path+"\\"+str(index2+1)+'、'+dchapt_name.text.replace('<','p').replace('>', 'p')+'.mp4'print(mv_path)url = get_urls(str(index1+1),str(index2+1))print(url)# try:if not os.path.exists(mv_path):resp = requests.get(url)sleep(3)with open(mv_path, 'wb') as f:f.write(resp.content)f.close()print("success")else:print('文件已经存在')# except:# print("爬取失败")
# https://new-bxgstorge.boxuegu.com/bxg/textbook/052/afterClassVideo/052001001.mp4
url = "http://tch.ityxb.com/video/6aa88b8193be49c3b8bef9910058b0ca/c1333acbfda346489af0f7488d9a0e2b/adcbc40cb73e4d229ed199da1742bd8f"
get_dir(url)
该处使用的url网络请求的数据。
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
传智播客视频python视频爬虫相关推荐
- python四大软件-传智播客解析Python之移动端页面适配四大方式
前端在制作移动端页面时,会碰到适配各种手机屏幕的问题,而且还包括平板电脑,这么多种分辨率的屏幕,如何做到适配呢?传智播客为此总结了四种方式,具体如下: 传智播客解析Python之移动端页面适配四大方式 ...
- 传智播客C语言视频第二季(第一季基础上增加诸多C语言案例讲解,有效下载期为10.5-10.10关闭
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 卷 ba ...
- 传智播客C语言视频第二季(第一季基础上增加诸多C语言案例讲解,有效下载期为10.5-10.10关闭)
卷 backup 的文件夹 PATH 列表 卷序列号为 00000025 D4A8:14B0 J:. │ 1.txt │ c语言经典案例效果图示.doc │ ├─1传智播客_尹成_C语言从菜鸟到 ...
- 传智播客C语言视频第二季(第一季基础上增加诸多C语言案例讲解,有效下载期为10.5-10.10关闭)...
卷 backup 的文件夹 PATH 列表 卷序列号为 00000025 D4A8:14B0 J:. │ 1.txt │ c语言经典案例效果图示.doc │ ├─1传智播客_尹成_C语言从菜鸟到 ...
- 传智播客C语言视频第二季 第一季基础上增加诸多C语言案例讲解,有效下载期为10 5-10 10关闭
分享一下我老师大神的人工智能教程.零基础!通俗易懂!风趣幽默!还带黄段子!希望你也加入到我们人工智能的队伍中来!https://blog.csdn.net/jiangjunshow 卷 backup ...
- 传智播客-php基础视频,传智播客PHP核心基础视频教程推荐(资源)
PHP,是英文超级文本预处理语言Hypertext Preprocessor的缩写.PHP 是一种 HTML 内嵌式的语言,是一种在服务器端执行的嵌入HTML文档的脚本语言,语言的风格有类似于C语言, ...
- java工作流 传智播客_Activiti工作流视频教学(企业开发实战讲解)_传智播客
Activiti工作流视频教学(企业开发实战讲解)_传智播客课程简介: Activiti工作流视频教学(企业开发实战讲解)_传智播客本教学共分4天进行讲解,本站提供第1天内容在线观看,全集教学请在本站 ...
- python需要多久-在传智播客培训python需要多久?
如今,python可以说是比较火的语言之一了,因为灵活以及在人工智能领域上的优势,不少人都转行去培训机构培训python,传智播客的官网上就每天有不少人都在咨询关于python的费用以及时长,今天传智 ...
- 传智播客软件测试学习视频汇总:
课程名称 分类 URL 提取码 软件测试入门到精通 视频 http://yun.itheima.com/course/490.html?aoe cnj1 资料 https://pan.baidu.co ...
- 传智播客风清扬视频-------网络编程简介
计算机网络模型 OSI(Open System Interconnection开放系统互连)参考模型 TCP/IP参考模型 OSI 应用层--表示层--会话层--传输层--网络层--数据链路层--物理 ...
最新文章
- arcgis for android离线编辑,ArcGIS for Android离线数据编辑实现原理
- 关于windowsx.h的介绍
- 基础数据仓库环境搭建(三)Zookeeper的安装与配置和操作
- 无线路由器的WDS功能如何配置?
- 小白学Linux(一:开门见山)
- 未定义函数或变量_变量提升:JavaScript是顺序执行,为什么变量在定义之前执行不会报错而是报Underfined...
- OutLook 2010 (Bata) 中的邮件导出功能
- fastdfs java qps,关于vsftpd与fastDFS的问题?
- 【笔试/面试】—— 数学找规律题
- 说下自己看源码的一点经验(Python Web 相关)
- autosar架构_(1)Testing-Autosar架构及模块描述
- 超市选址c语言程序,谈谈超市选址的重要性
- android7.1索尼,Xperia 1
- RxSwift学习(一) --- RxSwift介绍
- imp oracle错误3114,imp时发生错误ORA-01114
- 备案需要域名证书吗?如何下载域名证书?
- 【BZOJ4372】烁烁的游戏(点分树)
- Struts2实现URL伪静态
- 前端常用面试题2020
- glog使用与说明(转载)