python怎么爬网站视频教程_python爬虫爬取某网站视频的示例代码
把获取到的下载视频的url存放在数组中(也可写入文件中),通过调用迅雷接口,进行自动下载。(请先下载迅雷,并在其设置中心的下载管理中设置为一键下载)
实现代码如下:
from bs4 import BeautifulSoup
import requests
import os,re,time
import urllib3
from win32com.client import Dispatch
class DownloadVideo:
def __init__(self):
self.r = requests.session()
self.url=self.get_url()
self.download_urla=[]
self.download_urlb=[]
self.url_set=["%s/shipin/list-短视频.html"%self.url]
#获取最新网址
def get_url(self):
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
a=self.r.get('https://www.k58.com',verify=False)
b=a.url
return b
#几页内容的网址
def url_set1(self,n):
if n==2:
url="%s/shipin/list-短视频-2.html"%self.url
self.url_set.append(url)
elif n>=3:
m=n+1
for i in range(2,m):
url="%s/shipin/list-短视频-%d.html"%(self.url,i)
self.url_set.append(url)
else:
pass
#分别加载每一个页内容的网址
def download_url1(self):
for j in self.url_set:
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
r=self.r.get(j,verify=False)
sp1=r.content
soup = BeautifulSoup(sp1, "html.parser")
sp2 = soup.find_all(class_="shown")
for i in sp2:
url1=re.findall('
u=self.url+url1[0]
self.download_urla.append(u)
#分别获取各个视频的下载链接
def download_url2(self):
for i in self.download_urla:
urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
r=self.r.get(i,verify=False)
sp1=r.content
soup = BeautifulSoup(sp1, "html.parser")
sp2 = soup.find_all(class_="form-control input-sm copy_btn app_disable")
for j in sp2:
url2=j["data-clipboard-text"]
self.download_urlb.append(url2)
#将链接写入txt中
# self.write_txt(url2)
#迅雷下载
def thunder_download(self):
try:
thunder = Dispatch("ThunderAgent.Agent64.1")
for i in self.download_urlb:
thunder.AddTask(i)
thunder.CommitTasks()
time.sleep(2)
except:
print("请下载迅雷,并在其设置中心的下载管理中设置为一键下载")
def mkdir(self,path):
folder = os.path.exists(path)
if not folder:
os.makedirs(path)
else:
pass
def write_txt(self,c):
self.mkdir(r"D:\AAAAA")
file_name=time.strftime('%Y%m%d_%H%M%S.txt')
with open(r"D:\AAAAA\%s"%file_name,'a') as f:
f.write(c+"\n")
if __name__ == '__main__':
d=DownloadVideo()
#数字表示几页的内容
d.url_set1(5)
d.download_url1()
d.download_url2()
d.thunder_download()
到此这篇关于python爬虫爬取某网站视频的示例代码的文章就介绍到这了,更多相关python爬虫爬取网站视频内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
python怎么爬网站视频教程_python爬虫爬取某网站视频的示例代码相关推荐
- python爬去新浪微博_Python爬虫爬取新浪微博内容示例【基于代理IP】
Python爬虫爬取新浪微博内容示例[基于代理IP] 发布时间:2020-09-07 10:08:14 来源:脚本之家 阅读:120 本文实例讲述了Python爬虫爬取新浪微博内容.分享给大家供大家参 ...
- python爬虫爬图片教程_Python爬虫爬图片需要什么
Python爬虫爬图片需要什么?下面用两种方法制作批量爬取网络图片的方法: 第一种方法:基于urllib实现 要点如下: 1.url_request = request.Request(url) 2. ...
- python爬表格数据_python爬虫,爬取表格数据
python爬虫,爬取表格数据 python爬虫,爬取表格数据 python爬虫,爬取全国空气质量指数 编程环境:Jupyter Notebook 所要爬取的网页数据内容如下图 python爬虫代码及 ...
- python爬电影天堂_python爬虫爬取电影天堂电影
python爬虫爬取电影天堂电影?本项目实现一个简单的爬虫,通过requests和BeautifulSoup爬取电影天堂电影信息,包括片名.年代.产地.类别.语言.海报链接和视频链接等内容.pytho ...
- python爬电影资源_Python爬虫爬取BT之家找电影资源
一.写在前面 最近看新闻说圣城家园(SCG)倒了,之前BT天堂倒了,暴风影音也不行了,可以说看个电影越来越费力,国内大厂如企鹅和爱奇艺最近也出现一些幺蛾子,虽然目前版权意识虽然越来越强,但是很多资源在 ...
- java怎么爬网易云_Python爬虫爬取网易云的音乐
Python爬虫爬取网易云的音乐(学习笔记) 在开始之前,做一点小小的说明哈: 我只是一个python爬虫爱好者,如果本文有侵权,请联系我删除! 本文需要有简单的python爬虫基础,主要用到两个爬虫 ...
- python去除抖音水印_Python爬虫:多平台短视频去水印下载器
Python爬虫:多平台短视频去水印下载器 本教程描述的爬取方案定档与2020年10月26日 郑重申明:该文章介绍的技术仅供用于学习,不可恶意攻击各大短视频平台.对各大短视频平台服务器造成的任何损失, ...
- python脚本自动qq签到_Python爬虫实现自动登录、签到功能 附代码
这篇文章主要介绍了Python爬虫实现自动登录.签到功能的代码,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下 前几天在一个素材网站上下载东 ...
- python中if else语句_python 中if else 语句的作用及示例代码
引入:if-else的作用,满足一个条件做什么,否则做什么. if-else语句语法结构 if 判断条件: 要执行的代码 else: 要执行的代码 判断条件:一般为关系表达式或bool类型的值 执行过 ...
最新文章
- 边界填充算法讲解_边界填充算法
- 交换机接口的access与trunk
- OpenCV收集对象及其分割蒙版的数据集的实例(附完整代码)
- vue点击按钮怎么跳转图片_vue-router组件里面点击一个按钮跳转到一个新的组件该怎么实现...
- 柔性太阳能电池pdf_CIS太阳能电池.pdf
- mysql表名命名规范_数据库表名的命名规范
- win和linux同步文件,Linux和windows系统文件的实时同步
- php图形验证码验证,php图片验证码代码
- sql操作报空指针异常
- 论文《Image Recoloring Based on Object Color Distributions》整理笔记
- 转自知乎,深度强化学习论文https://zhuanlan.zhihu.com/p/23600620
- FileReader和FileWrite介绍
- IntelliJ IDEA 注册码(phpstorm等IDE)
- 1.可编程并行接口实验
- 【Matlab学习手记】线搜索Goldstein准则
- 高级语言程序设计(实验四)
- 360云查杀接口的使用
- 知云文献翻译打不开_Xtranslator翻译软件:文献、网页、word,所有翻译阅读统统拿下...
- 零基础学前端系列教程 | 和前端谈恋爱的第003天——电影海报
- 40+顶级架构师强烈推荐,SDCC强大后援团曝光