前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

python开发环境

python 3.6
pycharm

import requests
# pip install requests
12

目标网页分析

全部都是漂亮的小姐姐，爱了，爱了~

想把这些小姐姐的自拍视频全部打包带回家~

网站是动态数据加载的，再开发者工具里面可以找到相关的数据包

有昵称、标题、封面以及视频地址，复制视频地址会自动下载，所以只需要模拟请求这个也就可以获取相对应的数据了

import requests
import pprint
url = 'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page=1&pagesize=30'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
response = requests.get(url=url, headers=headers)
html_data = response.json()
pprint.pprint(html_data)
1234567

返回的是json数据，所以我们可以根据字典取值的方法获取视频地址~

pprint 格式化输入模块，这样的会让返回的数据看的清楚。

解析数据，获取视频地址以及标题

lis = html_data['content']['list']
for li in lis:                      title = li['title']             play_url = li['playurl']        print(title, play_url)
12345

获取视频地址之后，可以请求视频地址，进行保存

    response_2 = requests.get(url=play_url)                                       path = 'D:\\python\\demo\\六间房视频\\视频\\' + title + '.mp4'                       with open(path, mode='wb') as f:                                              f.write(response_2.content)                                               print(title)
12345

保存下来的视频是可以播放的，但是这个只是一页的数据，对于这丢丢视频，小编是肯定不满足的~

那怎么实现翻页爬取呢，这就要分析数据接口的url变化了

六间房这个网站的数据加载是瀑流的数据加载方式，和平常我们看到的那点击下一页就跳转的不一样，它是需要你往下滑，然后就会给你出现数据

可以清楚的看到page的变化是对应的是页码

所以我们只需要在url前面给他循环遍历一下就可以了，达到翻页的效果了

完整代码

import requests
import pprint
for page in range(1, 11):url = 'https://v.6.cn/minivideo/getMiniVideoList.php?act=recommend&page={}&pagesize=30'.format(page)headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)html_data = response.json()lis = html_data['content']['list']for li in lis:title = li['title']play_url = li['playurl']response_2 = requests.get(url=play_url)path = 'D:\\python\\demo\\六间房视频\\视频\\' + title + '.mp4'with open(path, mode='wb') as f:f.write(response_2.content)                         print(title)

Python爬取六间房小姐姐自拍小视频！真漂亮啊！相关推荐

Python爬取哔哩哔哩今日热门视频实战
Python爬取哔哩哔哩今日热门视频今天给大家分享一个利用python来爬取哔哩哔哩今日热门视频的实战, 还是先说思路: 第一步:想办法寻找到单个视频的真实的url位置第二步:提取单个视频真实ur ...
php爬取ins图片_Python爬取六间房小姐姐自拍小视频
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python开发环境 ...
Python爬取《创造营2020》小姐姐数据并用腾讯云人脸识别做颜值评分
最近创造营2020好多小姐姐吸引到我了,于是就有这这个颜值100分的小姐姐高达21位比如前段时间抖音很火的凡凡以下是代码,需要你在申请腾讯云有关参数替换哦 # -*- coding: utf ...
Python爬取《创造营2020》小姐姐数据用腾讯云人脸识别做颜值评分
最近创造营2020好多小姐姐吸引到我了,于是就有这这个颜值100分的小姐姐高达21位比如前段时间抖音很火的凡凡以下是代码,需要你在申请腾讯云有关参数替换哦 # -*- coding: utf- ...
Python 爬取煎蛋网随手拍
百度百科对爬虫的定义为:网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁, ...
python爬取京东商品属性_python爬虫小项目：爬取京东商品信息
#爬取京东手机信息 import requests from bs4 import BeautifulSoup from selenium import webdriver import re imp ...
python爬取乘风破浪的姐姐弹幕--芒果TV爬虫
不知道大家有木有收看兴风作浪乘风破浪的姐姐们吖?你最喜欢哪个姐姐呢?看看哪个姐姐最受弹幕欢迎吧今天(昨天),先把芒果TV的<乘风破浪的姐姐>弹幕爬下来再说 from bs4 impor ...
python爬取标题和作者时间的小程序
2019独角兽企业重金招聘Python工程师标准>>> #encoding:UTF-8 import urllib.parse import urllib.request impor ...
Python爬取《扫黑风暴》腾讯视频弹幕
关键是找到弹幕的URL 等待,广告完成,按下F12 在Ctrl+R刷新代码如下 #-*- coding = uft-8 -*- #@Time : 2020/9/26 4:35 下午 #@Author ...

Python爬取六间房小姐姐自拍小视频！真漂亮啊！

前言

目标网页分析

解析数据，获取视频地址以及标题

完整代码

Python爬取六间房小姐姐自拍小视频！真漂亮啊！相关推荐

最新文章

热门文章