使用分布式+you-get多任务下载视频

主机端分发页面
由于视频数据比较大所以采取下载到从机上后期想读取在使用分布式读取即可

#主机控制代码
import multiprocessing
import multiprocessing.managers
import random,time,os
from multiprocessing import Queue
# 任务队列
task_queue=Queue()
# 结果队列
result_queue=Queue()# 提供给从机调用后得到队列中的数据
# 就是接口
def return_task():return task_queue
def return_result():return result_queue
class QueueManager(multiprocessing.managers.BaseManager):pass
if __name__=="__main__":# 开启分布式支持multiprocessing.freeze_support()# 注册可以访问队列并得到结果的函数QueueManager.register('get_task',callable=return_task)QueueManager.register('get_result',callable=return_result)manager=QueueManager(address=('192.168.72.139',8888),authkey='password'.encode('utf-8'))manager.start()task=manager.get_task()result=manager.get_result()for i in range(1,356):print('task add data')#将任务放入队列task.put(i)print('watting for ____')for i in range(1,356):#将结果从队列中取出res=result.get()print('get_data',res)manager.shutdown()

从机代码

import multiprocessing
import multiprocessing.managers
import random,time,os
from multiprocessing import Queueclass QueueManager(multiprocessing.managers.BaseManager):pass
if __name__=="__main__":# 开启分布式支持multiprocessing.freeze_support()# 注册可以访问队列并得到结果的函数QueueManager.register('get_task')QueueManager.register('get_result')manager=QueueManager(address=('192.168.72.139',8888),authkey='password'.encode('utf-8'))manager.connect()task=manager.get_task()result=manager.get_result()for i in range(1,356):try:#从队列中取出任务data=task.get()os.system('you-get -o ./ https://www.bilibili.com/video/av31369828/?p='+str(238+data))result.put('client'+str(data))except:pass

使用分布式+you-get多任务下载视频相关推荐

python 网页爬虫，多任务下载视频
网上找个网站,视频手动一个一个下载,太麻烦了,怎么办?用某雷,out了网页爬虫多线程下载视频步骤: 引入requests 访问网页内容,用正则解析提取url 分析html页得到mp4地址把url存 ...
Python Tkinter 下载器多任务下载+多线程下载+多任务断点续存
功能介绍: 这次的下载器特点:多线程下载 + 多任务下载 + 多任务断点续存视频演示: Python Tkinter 系列 - 下载器界面: 轮子文件大小界面:Tkinter 下载功能 :re ...
python you-get下载视频-使用python库之you-get下载视频
电脑想要下载b站的视频,防止视频被和谐了本地还能看,但是电脑端b站却没有本地下载的视频链接,这时候就可以用you-get下载了. 1.安装python.怎么安装就不写了.可以直接安装anaconda, ...
python教程下载视频-python怎么下载视频
在进行爬虫的时候,经常需要保存视频到本地.通常得先获得视频(.mp4)的下载链接,再设置保存到本地的路径(路径包括最后的命名, 例如:D:/1.mp4),因此函数传入的参数为url和path. 例子: ...
linux awk命令详解，使用system来内嵌系统命令,批量github，批量批下载视频, awk合并两列...
linux awk命令详解简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...
android 关于多任务下载问题
关于多任务下载问题近期项目中,遇到一个问题,列表数据中的图片地址是一个需要下载JS再解析的字段,之前的图片下载是一个异步的过程,由一个队列处理. Android系统以不同寻常的方式处理多个应用程序的 ...
you-get 一个下载视频的好工具
不知道你有没有这种情况,你用的是网页版的app看视频,但是你想下载视频,你又不想下载APP. 那么如何解决呢? 其实是用一个叫you-get的工具就可以解决你的困扰. 在Python的第三方库的第三方 ...
linux下通过命令来下载视频
1.安装 you-get pip3 install you-get 2.使用 you-get 下载视频(you-get + 视频url),这样视频就会被保存在当前路径下 you-get https:/ ...
下载视频的一种简便方法
现在互联网上有大量的视频,有时候我们希望下载一些有用的视频来使用. 下面介绍一种下载视频的简便方法,这种方法不需要安装任何下载软件,而且适合所有FLV(FlashVideo)格式的视频文件. 第一步清 ...

使用分布式+you-get多任务下载视频

使用分布式+you-get多任务下载视频相关推荐

最新文章

热门文章