python爬虫：爬取某网站视频

把获取到的下载视频的url存放在数组中（也可写入文件中），通过调用迅雷接口，进行自动下载。（请先下载迅雷，并在其设置中心的下载管理中设置为一键下载）

实现代码如下：

from bs4 import BeautifulSoup
import requests
import os,re,time
import urllib3
from win32com.client import Dispatch
class DownloadVideo:def __init__(self):self.r = requests.session()self.url=self.get_url()self.download_urla=[]self.download_urlb=[]self.url_set=["%s/shipin/list-短视频.html"%self.url]#获取最新网址def get_url(self):urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)a=self.r.get(\'https://www.k58.com\',verify=False)b=a.urlreturn b#几页内容的网址def url_set1(self,n):if n==2:url="%s/shipin/list-短视频-2.html"%self.urlself.url_set.append(url)elif n>=3:m=n+1for i in range(2,m):url="%s/shipin/list-短视频-%d.html"%(self.url,i)self.url_set.append(url)else:pass#分别加载每一个页内容的网址def download_url1(self):for j in self.url_set:urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)r=self.r.get(j,verify=False)sp1=r.contentsoup = BeautifulSoup(sp1, "html.parser")sp2 = soup.find_all(class_="shown")for i in sp2:url1=re.findall(\'<a href="(.*?)"\',str(i))u=self.url+url1[0]self.download_urla.append(u)#分别获取各个视频的下载链接def download_url2(self):for i in self.download_urla:urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)r=self.r.get(i,verify=False)sp1=r.contentsoup = BeautifulSoup(sp1, "html.parser")sp2 = soup.find_all(class_="form-control input-sm copy_btn app_disable")for j in sp2:url2=j["data-clipboard-text"]self.download_urlb.append(url2)#将链接写入txt中# self.write_txt(url2)#迅雷下载def thunder_download(self):try:thunder = Dispatch("ThunderAgent.Agent64.1")for i in self.download_urlb:thunder.AddTask(i)thunder.CommitTasks()time.sleep(2)except:print("请下载迅雷，并在其设置中心的下载管理中设置为一键下载")def mkdir(self,path):folder = os.path.exists(path)if not folder:os.makedirs(path)else:passdef write_txt(self,c):self.mkdir(r"D:\AAAAA")file_name=time.strftime(\'%Y%m%d_%H%M%S.txt\')with open(r"D:\AAAAA\%s"%file_name,\'a\') as f:f.write(c+"\n")if __name__ == \'__main__\':d=DownloadVideo()#数字表示几页的内容d.url_set1(5)d.download_url1()d.download_url2()d.thunder_download()

python编程https://edu.csdn.net/course/detail/36170

python爬虫：爬取某网站视频相关推荐

python怎么爬网站视频教程_python爬虫爬取某网站视频的示例代码
把获取到的下载视频的url存放在数组中(也可写入文件中),通过调用迅雷接口,进行自动下载.(请先下载迅雷,并在其设置中心的下载管理中设置为一键下载) 实现代码如下: from bs4 import B ...
Python爬虫爬取腾讯视频评论内容
Python爬虫爬取腾讯视频评论内容腾讯视频评论内容在源码里是不可见,所以要使用抓包分析. 可安装fiddler代理服务器实现. 下面爬了腾讯视频评论内容(不包括回复),及发表评论者的id.昵称和 ...
python爬虫爬取某网站图片
学习分享 | 今天刚学完爬虫,就随便写了一个爬虫代码爬取某网站的图片网站就是这个图片网站,我选的是1080p格式,4k的要会员,我反正是还不会导入的包如下 import requests from ...
python爬虫爬取小说网站并转换为语音文件
前言作为一个技术宅,本着为眼睛着想的角度考虑,能少看屏幕就尽量少看屏幕,可是又是一个小说迷,那就开动脑筋爬一下小说转换成语音来听书吧第一章:爬取小说文件把目标定在小说存储量比较大的网站:起点中文 ...
python爬虫爬取58网站数据_python实战学习笔记：爬取58同城平板电脑数据
学习爬虫一周后独立完成的第一个作业项目:爬取58同城平板电脑数据. 1.首先确定URL,并抓取详情页中需要的信息首先我们确定好需要爬取的网页URL是:http://zhuanzhuan.58.com ...
Python爬虫—爬取某网站上面所有的世界港口信息数据
最近学习了一段时间的Python基础语法后,写了一个爬取世界港口数据的爬虫,并且保存到SQL Server 数据库. 前提公司之前有个需求是想监控集装箱如果进出某个港口的时候能给出信息提示,并且与海 ...
python爬虫爬取58网站数据_Python爬虫，爬取58租房数据字体反爬
Python爬虫,爬取58租房数据这俩天项目主管给了个爬虫任务,要爬取58同城上福州区域的租房房源信息.因为58的前端页面做了base64字体加密所以爬取比较费力,前前后后花了俩天才搞完. 项目演示 ...
python爬虫招聘-Python爬虫-爬取招聘网站信息（一）
学习内容,来源于百度搜索工具及环境 1.python版本:python 3.7.3 2.安装工具:beautifulsoup 3.系统环境:Windows10 4.浏览器:chrome 网页分析 i ...
python爬虫爬取某网站全站图片案列（源码全给可白漂，仅供学习使用，切勿用作非法用途）
爬取后保存的图片效果图步骤入下(三步): 先去要爬取的目标网站(https://pixabay.com/)去注册一个账号. 2.注册后登录,浏览器右键鼠标,打开检查,找到登录后的cookies值. ...
python 小说cms系统_「博文小说网」Python爬虫爬取小说网站 - seo实验室
博文小说网 #!/usr/bin/env Python # -*- coding: utf-8 -*- # @Author : Woolei # @File : book136_singleproce ...

python爬虫：爬取某网站视频

python爬虫：爬取某网站视频相关推荐

最新文章

热门文章