Python爬虫项目--爱拍视频批量下载

简单的分析一下这个爱拍视频
总结起来就是及其不安全的一个网站

想获取登录态很简单到只要设置cookie就ok了也是很惊讶，然后就是正常爬取流程了。说明一下，建议设置https 然后登录安全要做好。

代码部分：
首先是获取下载链接

#下载爱拍
import requests
import time
from bs4 import BeautifulSoupAIPAI_SPICE_URL = 'http://home.aipai.com/17899407?action=card&sub=&sort=id&total=844&clicks=5617816&flowers=27350&bookTotal=0&page='
LOGIN_COOKIES = 'cookie部分 这部分需要先登录复制过来即可'
cookies2 = dict(map(lambda x: x.split('='), LOGIN_COOKIES.split(";")))def DownloadTagToTxt(url):res = requests.get(url, cookies=cookies2)bs_html = BeautifulSoup(res.text, 'lxml')h5_list = bs_html.find_all('h5')for h5 in h5_list:a_list = h5.find_all('a')#a_list = bs_html.find_all('h5')for a in a_list:a_str = a.get('href')if a_str.endswith('mp4'):# 打印出a标签print(a_str)if __name__ == '__main__':for num in range(1,72):cur_str = str(num)AIPAI_URL = AIPAI_SPICE_URL+cur_strDownloadTagToTxt(AIPAI_URL)

其次是下载的代码

import os
import time
import requestsdef downloadFile(name, url):''':param name:下载保存的名称:param url: 下载链接:return:'''headers = {'Proxy-Connection': 'keep-alive'}r = requests.get(url, stream=True, headers=headers)length = float(r.headers['content-length'])f = open(name, 'wb')count = 0count_tmp = 0time1 = time.time()for chunk in r.iter_content(chunk_size=512):if chunk:f.write(chunk)count += len(chunk)if time.time() - time1 > 2:p = count / length * 100speed = (count - count_tmp) / 1024 / 1024 / 2count_tmp = countprint(name + ': ' + formatFloat(p) + '%' + ' Speed: ' + formatFloat(speed) + 'M/S')time1 = time.time()f.close()def formatFloat(num):return '{:.2f}'.format(num)if __name__ == '__main__':file_name = 'VideoLink.txt'for line in open(file_name):down_link = line.strip()split_list = down_link.split('/')down_link_name = split_list[len(split_list)-2]+'_'+split_list[len(split_list)-1]downloadFile(down_link_name,down_link)

Python爬虫项目--爱拍视频批量下载相关推荐

python实现网站内部视频批量下载
一.背景在有些时候,当我们突然在某个网站看到一个特别好的视频(比如高清MV),想把它下载下来,但突然发现,网站并没有下载链接:这个时候我们一般有几种解决办法: 使用网页插件(比如火狐浏览器的netV ...
【Python】利用Python爬虫实现网页图片批量下载
本文爬取的是豆瓣的网站,爬虫有规则,爬虫需谨慎.文章末附效果图源码下载地址:https://github.com/Seichung/Python/blob/master/Python_Practic ...
python爬虫实战——运用requests批量下载qq音乐
python -qq音乐爬取在学习一段时间后,在视频的讲解下,觉得自己掌握的不错,就开始了这一次的qq音乐的爬取,在爬取的过程中发现了很多问题.知识点掌握的不够,知识点掌握的不熟,例如:正则表达式的 ...
Python爬虫案例教学：批量下载某狗所有热门榜单歌曲（附完整源码）
环境 Python 3.6 Pycharm 模块使用 import os import requests import parsel import re # 模块安装 ''' 如何安装模块: 1. w ...
python网上批量下载表格_python爬虫智能翻页批量下载文件的实例详解
python爬虫遇到爬取文件内容时,需要一页页的翻页爬取,这样很是麻烦,其实可以获取每个列表信息下的文件名和文件链接,让文件名和文件链接处理为列表,保存后下载,实现智能翻页批量下载文件,本文以以京客隆 ...
爬虫进阶教程：抖音APP无水印视频批量下载
一.前言本文为两类人准备:技术控和工具控. 如果你是工具控,想简单方便地下载无水印的视频,那么可以使用第三方去水印平台: 抖音短视频解析下载平台如果你是技术控,想要使用自己写的代码下载视频,那么可 ...
python爬虫项目实战教学视频_('[Python爬虫]---Python爬虫进阶项目实战视频',)
爬虫]---Python 爬虫进阶项目实战 1- Python3+Pip环境配置 2- MongoDB环境配置 3- Redis环境配置 4- 4-MySQL的安装 5- 5-Python多版本共存配 ...
python爬虫项目-33个Python爬虫项目实战(推荐)
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...
32个Python爬虫项目
今天为大家整理了32个Python爬虫项目. 整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心.所有链接指向GitHub,祝大家玩的愉快~O(∩_∩)O WechatSogou [1] ...

Python爬虫项目--爱拍视频批量下载

Python爬虫项目--爱拍视频批量下载相关推荐

最新文章

热门文章