python爬虫实战-爬取视频网站下载视频至本地(selenium)

#python爬虫实战-爬取视频网站下载视频至本地(selenium)

import requests
from lxml import etree
import json
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import timeheaders={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
}
max_behot_time=0
video_list=[]
def get_json():global max_behot_timeurl='http://www.365yg.com/api/pc/feed/?min_behot_time='+str(max_behot_time)r=requests.get(url,headers=headers)obj=json.loads(r.text)max_behot_time=obj['next']['max_behot_time']data=obj['data']for video_data in data:title=video_data['title']a_href='http://www.365yg.com'+video_data['source_url']down_video(title,a_href)def down_video(title,href):#通过selenium来解析视频网址，path=r'E:\Student\python\day05\driver\chromedriver.exe'chrome_options=Options()chrome_options.add_argument('--Headless')chrome_options.add_argument('--disable-gpu')chrome_options.add_argument('user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"')browser=webdriver.Chrome(executable_path=path,chrome_options=chrome_options)browser.get(href)time.sleep(5)browser.save_screenshot(r'PjPhoto\baidu.png')#获取源码，生成对象，查找video 里面的srctree=etree.HTML(browser.page_source)video_url=tree.xpath('//video[@mediatype="video"]/@src')[0]video_url='http:'+video_urlfilepath='video/'+title+'.mp4'print('正在下载视频 %s'%title)r=requests.get(video_url)with open(filepath,'wb') as fp:fp.write(r.content)print('%s已下载'%title)browser.quit()def main():# page=int(input('请输入你要下载的页数(每页7个):'))page=1for x in range(0,page):get_json()if __name__ == '__main__':main()

python爬虫实战-爬取视频网站下载视频至本地(selenium)相关推荐

Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
Python爬虫实战- 爬取整个网站112G-8000本pdf epub格式电子书下载
(整个代码附在最后) 目录: 爬虫准备 - 某电子书网站内容架构分析爬虫前奏 - 网站Html代码分析,如何获取需要的链接? 爬虫高潮 - 测试是否有反爬虫措施,测试是否能正常下载一个sample ...
python爬虫实战---爬取大众点评评论
python爬虫实战-爬取大众点评评论(加密字体) 1.首先打开一个店铺找到评论很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多 ...
python爬虫实战-爬取微信公众号所有历史文章 - (00) 概述
http://efonfighting.imwork.net 欢迎关注微信公众号"一番码客"获取免费下载服务与源码,并及时接收最新文章推送. 最近几年随着人工智能和大数据的兴起,p ...
初次尝试python爬虫，爬取小说网站的小说。
本次是小阿鹏,第一次通过python爬虫去爬一个小说网站的小说. 下面直接上菜. 1.首先我需要导入相应的包,这里我采用了第三方模块的架包,requests.requests是python实现的简单易 ...
python爬虫实战--爬取猫眼专业版-实时票房
小白级别的爬虫入门最近闲来无事,发现了猫眼专业版-实时票房,可以看到在猫眼上映电影的票房数据,便验证自己之前学的python爬虫,爬取数据,做成.svg文件. 爬虫开始之前我们先来看看猫眼专业版- ...
python爬虫亲手爬取图书网站
这个爬虫只是一个简单的爬虫,单线程并且任务的管理等一爬虫数据持久化方式使用的是mysql数据库.需要设备上先安装mysql数据库,python中使用mysql 数据库的方法是使用pymysql库 ...
python爬虫：爬取某网站视频
把获取到的下载视频的url存放在数组中(也可写入文件中),通过调用迅雷接口,进行自动下载.(请先下载迅雷,并在其设置中心的下载管理中设置为一键下载) 实现代码如下: from bs4 import B ...
python爬虫实战-爬取新闻联播视频和新闻文稿
一.爬取新闻联播视频 1. 将视频拖到最后 2. 分析视频缓存链接如图所示url:https://hls.cntv.baishancdnx.cn/asp/hls/1200/0303000a/3/de ...

python爬虫实战-爬取视频网站下载视频至本地(selenium)

python爬虫实战-爬取视频网站下载视频至本地(selenium)相关推荐

最新文章

热门文章