python爬虫下载视频网站视频

xpath解析页面源码
requests.Session() 解决 status_code 302 网页重定向
selenium 获取网页遇到 iframe 标签解决办法

最近发现一个比较好的视频网站，里面的资源清晰度很高，就想把自己喜欢的美剧下载到本地保存起来慢慢看。

第一步：分析视频链接

点击视频，进入播放页面
打开谷歌浏览器f12 点击切换到Network
点击视频播放按钮，会看到一直有一条条状态刷新出来
这个网站比较简单，切换到media，就可以看到重定向的原url，和视频的url
点开第一条url 可以看到请求的url（Reques URL），下面Response Headers【‘location’】就是重定向后的url

点开下面的url ，发现跟重定向后的url相同，并且复制这个url到浏览器就可以直接下载视频了，这里我就找到了视频下载的url了。

第二步：切换到Element，定位视频播放的节点。
1. 这里在 video 标签的 src 属性里面找到了视频的 url ，经过对比发现就是重定向的原 url 。所以我就可以直接获取到视频播放页面源码后用xpath解析出来。
2. 但是这里的 video 标签，在一个 iframe 标签里面，直接用xpath 定位不到。
3. 只能换selenium 定位。

bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe')) #切换到iframe标签里面 再进行定位
src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src')

第三步：拿到 src 后，用requests.Session() ，获取重定向后的 url

session = requests.Session() #定义一个session对象，用它发起请求
res = session.get(url=src, headers=headers, allow_redirects=False) #allow_redirects=Flase阻止重定向
new_url = res.headers['Location'] #拿到Response Headers['location']

第四步：对重定向后的 url ，发起request.get().content 拿到二进制数据，持久化存储

re = requests.get(url=new_url, headers=headers).content
with open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:f.write(re)

完整代码

import requests
import os
from selenium import webdriver
from selenium.webdriver import ChromeOptionsif not os.path.exists('E:/视频下载/曼达洛人'): os.mkdir('E:/视频下载/曼达洛人')   #新建文件夹option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation']) # 规避检测
bro = webdriver.Chrome(options=option) # 实例化浏览器对象url_x = 'https://www.xxxxxxx.me/play/66-2-{}.html'
for i in range(1, 7):    #循环获取本季所有集视频url = url_x.format(i)bro.get(url)bro.switch_to.frame(bro.find_element_by_xpath('//*[@id="playleft"]/iframe'))src = bro.find_element_by_xpath('//*[@id="video"]/div[2]/video').get_attribute('src') headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',}session = requests.Session()res = session.get(url=src, headers=headers, allow_redirects=False)new_url = res.headers['Location']print('开始下载第{}集， 耐心等待'.format(i))re = requests.get(url=new_url, headers=headers).contentwith open('E:/视频下载/曼达洛人/'+str(i)+'集'+'.mp4', 'wb')as f:f.write(re)print('曼达洛人第{}集下载完成'.format(i))print('开始下载下一集——————————————————————————————')
print('OVER！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！')
bro.close()

python爬虫下载视频网站视频相关推荐

python爬虫下载影视网站的电影
python爬虫下载影视网站的电影我这边选取了vip网站 F12打开调试抓包模式搜索影片的名称, 观察看看给那个url地址发送了请求, 我看到了这个请求需要携带发送数据而这个数据就是我们要的影 ...
python代码下载视频_小白也能学会用一行Python代码下载任意网站视频
我们都知道用Python可以批量抓取网络上的图片.文字.视频等,今天小优给大家教一个简单的方法让小白用一行代码就能抓取任意网站上面的视频,但是前提是你要安装好Python环境哦! You-Get Yo ...
mysql教学磁力链_【python小项目】网页爬虫+mysql数据库储存，爬虫xx视频网站视频磁力链接...
#!/usr/bin/python3 # coding=utf8 import requests from bs4 import BeautifulSoup import pymysql import ...
python爬虫实战-爬取视频网站下载视频至本地(selenium)
#python爬虫实战-爬取视频网站下载视频至本地(selenium) import requests from lxml import etree import json from selenium ...
利用Python爬虫下载王者荣耀教学视频
前言: 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我给 ...
Python 仅下载B站视频的音频
Python 仅下载B站视频的音频因为各音源网站都要会员而且资源都不全,但是B站上所有的歌或者郭德纲的相声是都可以分享的,所以想在B站上下载想要的歌或者其他的音频. 首先打开一个连接https:// ...
python爬虫项目实战教学视频_('[Python爬虫]---Python爬虫进阶项目实战视频',)
爬虫]---Python 爬虫进阶项目实战 1- Python3+Pip环境配置 2- MongoDB环境配置 3- Redis环境配置 4- 4-MySQL的安装 5- 5-Python多版本共存配 ...
Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...
python爬虫之小说网站--下载小说(正则表达式)
python爬虫之小说网站--下载小说(正则表达式) 思路: 1.找到要下载的小说首页,打开网页源代码进行分析(例:https://www.kanunu8.com/files/old/2011/244 ...

python爬虫下载视频网站视频

python爬虫下载视频网站视频

完整代码

python爬虫下载视频网站视频相关推荐

最新文章

热门文章

python爬虫 下载视频网站视频

python爬虫 下载视频网站视频

完整代码

python爬虫 下载视频网站视频相关推荐

最新文章

热门文章

python爬虫下载视频网站视频

python爬虫下载视频网站视频

python爬虫下载视频网站视频相关推荐