python爬虫爬取视频练习

一直都想爬个视频玩玩于是…
分析网站
检查网页源码发现并没有视频信息于是按F12 进入network中刷新页面发现如下

request中的url地址才是真正的我们想要的地址，访问之后服务器返回明文json数据于是豁然开朗
接下来我们点击加载更多去寻找是怎么翻页的发现：

现在已经获取到所有必要的信息了开始写程序：

import json
import requestsdef get_url(url, hander):try:r = requests.get(url, headers=hander, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept requests.exceptions.ConnectTimeout:print("(1)连接超时")return ""except requests.exceptions.HTTPError as e:print(e)return ""
def prasing_page(html, hander,s):s = s+1   #页数+1json_data = json.loads(html)  #将json数据转换为python数据py_data = json_data['data']   #获取data的值for i in range(len(py_data)):try:print("\r当前进度第{}页>>>>>>>>>>>>>>{:.0f}%".format(s, i * 100 / len(py_data)), end="") #在一行显示进度with open('O:/ku6_viedo/'+py_data[i]['title']+'.mp4', 'wb') as f:r = requests.get(py_data[i]['playUrl'], headers=hander, timeout=30)f.write(r.content)f.close()except requests.exceptions.ConnectTimeout:print("（2）下载超时")continue  #如果下载超时则进行下一个视频下载
def main():hander = {"User-Agent": "Mozilla/5.0"}deep = 20      #定义总共爬取多少页s = 0         #定义一个变量 表示页数for i in range(deep): #循环爬取页面url = "https://********/video/feed?pageNo="+str(i)+"&pageSize=40&subjectId=76"html = get_url(url, hander)prasing_page(html, hander, s)main()

运行成功！

python爬虫爬取视频练习相关推荐

python爬虫爬取视频_python爬虫：爬取网站视频
新建一个py文件,代码如下: #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib,re,requests import sys reload ...
python网络爬虫_Python网络爬虫——爬取视频网站源视频！
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...
Python爬虫:爬取知乎上的视频，并把下载链接保存到md文件中
Python爬虫:爬取知乎上的视频,并把下载链接保存到md文件中 1.需要的Python模块主要是requests模块,用于得到的网页的数据安装命令为:pip install requests 2 ...
Python爬虫爬取Twitter视频、文章、图片
Python爬虫爬取Twitter视频.文章.图片 Twitter的Python爬虫 https://github.com/bisguzar/twitter-scraper 2.2k星标 (2020. ...
Python爬虫爬取腾讯视频评论内容
Python爬虫爬取腾讯视频评论内容腾讯视频评论内容在源码里是不可见,所以要使用抓包分析. 可安装fiddler代理服务器实现. 下面爬了腾讯视频评论内容(不包括回复),及发表评论者的id.昵称和 ...
Python爬虫爬取微信朋友圈的方法，感兴趣的朋友可以了解下
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 小雨 | 作者 python教程 | 来源接下来,我们将实现微信朋友圈的 ...
python爬虫--爬取9某1看剧网电视剧
文章目录 python爬虫--爬取91看剧网电视剧爬取视频必备知识思路代码合并视频 python爬虫–爬取91看剧网电视剧爬取视频必备知识 https://www.91kanju.com/v ...
Python爬虫——爬取股票信息
Python爬虫--爬取股票信息 1. 准备工作每一次浏览器访问网页,会自动向浏览器服务器发送本地的电脑信息(headers),远方服务器接收到信息后会反馈给你网页信息(response),然后电脑 ...
使用python爬虫爬取蓝调口琴网乐谱
学习目标:使用python爬虫爬取蓝调口琴网乐谱提示:这里可以添加学习目标例如:一周掌握 Java 入门知识学习内容: 使用爬虫爬取需要动态验证码(如手机短信验证码)登录的网站. 提示:这里可以 ...
如何用六步教会你使用python爬虫爬取数据
前言: 用python的爬虫爬取数据真的很简单,只要掌握这六步就好,也不复杂.以前还以为爬虫很难,结果一上手,从初学到把东西爬下来,一个小时都不到就解决了. python爬出六部曲第一步:安装req ...

python爬虫爬取视频练习

python爬虫爬取视频练习相关推荐

最新文章

热门文章

python爬虫 爬取视频 练习

python爬虫 爬取视频 练习相关推荐

最新文章

热门文章

python爬虫爬取视频练习

python爬虫爬取视频练习相关推荐