youtube批量采集-低成本解决方案-2
之前我有一篇文章《YouTube视频爬虫-批量采集-低成本解决方案-技术难点和细节回顾》 提到过一种u2b视频采集的方案。该方法适用于针对特定的up主进行批量采集,成本确实挺低,速度也蛮好。之前曾在博客下方挂出邮箱地址,寻求技术交流,但是被很多伸手党给打扰,在这里我只想坚决地告诉诸位:给代码是不可能的,我相信思路对你们才是更重要滴。
如果你对这方面有兴趣,可以和我们一群程序员交流学习,共同进步
695623459
背景:
1.腾讯云的非HK地区外地服务器均很难连接
2.某些HK地区的服务器也很难连接
3.我们需要根据关键字进行u2b视频采集,用以支撑我们自己开发的视频编辑器的本地素材库
针对上述背景,初步意见:
1.腾讯云如果做视频采集只能用HK的服务器了
2.HK地区的某些服务器无法连接,我目前推测的原因是恰好你使用的ip被禁,你需要绑定弹性ip,更换ip地址,直到换到本地可用ip
3.针对关键字的视频采集,还在想着用爬虫吗?千万别走弯路啊!Google开放了 YouTube Data api ,直接可以拿到结果。
整体思路
1.Rest API:部署在HK服务器,转发YouTube Data api查询结果
2.GUI:运行在使用者电脑,用于用户采集操作,用户根据关键字获取待采集任务列表
3.采集器:运行在HK服务器,依然使用我们的youtube-dl
4.采集完成之后,推到同区的腾讯云对象存储-HK区
5.本地下载器,运行在使用者电脑,用于从腾讯云对象存储下载视频到本地
价格计算
经过计算,每天下载15分钟内的视频200个,每月的运行成本是300多。114元买到1C1G2M的HK服务器,每天的采集极限是160GB
YouTube Data API 开发文档传送门
关于YouTube Data api我有话要讲
在之前的文章中有提到,当时走了弯路去看 youtube-api ,结果发现并没有什么卵用,这次呢?可是沾了光,不走弯路,直达目的地啦~
YouTube API中的Search/list接口,可以直接根据关键字获取符合条件的vedio、channel、playlist,下面是官方给出的demo
# Sample python code for search.listdef search_list_by_keyword(client, **kwargs):# See full sample for functionkwargs = remove_empty_kwargs(**kwargs)response = client.search().list(**kwargs).execute()return print_response(response)search_list_by_keyword(client,part='snippet',maxResults=25,q='surfing',type='')
其实筛选条件有很多的,甚至具体到结果排序方式都可以配置。
返回
{"kind": "youtube#searchListResponse","etag": etag,"nextPageToken": string,"prevPageToken": string,"regionCode": string,"pageInfo": {"totalResults": integer,"resultsPerPage": integer},"items": [search Resource]
}
youtube批量采集-低成本解决方案-2相关推荐
- lightinthebox火车头数据采集器(20120812更新) 使用火车头接口技术一键批量采集 批量发布 批量去水印 接口技术
lightintebox 如何 实现 数据采集,lightinthebox中如何实现以下功能:(欢迎广大网友交流 qq:158393237 旺旺: q459255119) 1 找供应商采购谈判 给 ...
- 批量提取文件创建时间_批量采集新浪微博用户内容
有时我们需要把某些用户的微博数据全部采集下来用作分析,每条信息复制的工作量是非常低效的,必须要借助工具.今天给大家介绍一款采集软件:微风采集器. 打开软件,选择模板,下拉框选:批量提取指定用户微博内容 ...
- 移动平台端到端低成本解决方案
移动平台端到端低成本解决方案 1. 概述 <移动平台End-2-End低成本解决方案>一课,描述的是当今移动互联网大局背景下,如何低成本的为移动应用搭建一个低成本服务端.从而实现中小开发者 ...
- Python批量采集无水印短视频内容
前言 短视频流行起来可不是一年两年了,现在很多年轻人都在玩短视频,有些的单纯就是看看,而有些的就是自己发视频 我每天刷视频,一刷就停不下来,应该还是有蛮多人跟我一样的吧 那有没有想法用自己所学的pyt ...
- 教您如何批量采集1688商城多个商品主图和详情页并统一保存
下面先让大伙浏览一组,就是运用载图助手电商图片及视频采集专用工具,所下载好的一些真实商品主图原图,和详情图以及视频等.详情操作一会儿给一一给大家介绍哈. 一.软件的智能分类保存功能 1.所下载好的文件 ...
- 一起做网店的商品主图的批量采集的步骤
一起做网店网站成立于2010年10月1日,致力于打造功能最强大最齐全的网店货源平台.当我们需要采集货源的时候可以利用下图高手把淘宝.阿里巴巴.一起做网店等平台的图片批量采集下来,比较方便,下面给大家详 ...
- Blbl里面终末的女武神的精彩片段批量采集的方法
想要采集Blbl里面终末的女武神的精彩片段可以跟着小编一起来批量采集吧. 浏览器搜索视频下载高手下载打开 单击短视频下载. 勾选自动粘贴网址. 浏览器搜索blbl进入到网站首页. 搜索终末的女武神浏览 ...
- 微信指数批量采集、导出
[内容摘要] 备注:本文只做采集思路的笔记,不做具体技术文档.微信在2017年上旬推出了微信指数这个小程序,可以根据用户输入的关键词查询该关键词7天.30天.90天的搜索热度.本文旨在记录批量采集微信 ...
- C语言实现幅值减小的正弦波,实现PMSM电机正弦电压控制的理想低成本解决方案...
1 概述 1.1简介 本文介绍了如何使用dsPIC30F 数字信号控制器(Digital Signal Controller, DSC)控制正弦电流来驱动具有位置传感器的永磁同步电机http://bb ...
最新文章
- 2020-10-09
- Quartz.NET实际
- mysql ICP优化的原理
- 一些没啥用的大数据组件以及理由(持续更新中)+2020的Gartner曲线
- Hadoop入门(四)HDFS编程
- ReviewForJob——二叉堆优先队列的实现(三种堆节点类型——int + struct HeapNode + struct HeapNode*)
- php return直接输出,PHP中return用法详细解读
- 代码实现WordPress 在文章内容的段落中插入广告google adsense
- Django Ajax学习一
- (Singleton)单例模式的Java实现
- Pytorch:Tensor(张量)的使用
- Java猜数字小游戏
- 利用Axure制作动态表格(Axure学习日志1)
- 转 波束成形 Beamforming 简述
- android百度离线地图,Android SDK
- 途牛android源码,途牛,Android 开发工程师,一面,攒人品
- 以太网以及车载以太网概述
- mysql读写分离 abp_mysql读写分离策略
- c#语言入门 刘老师,c#单元测试实例(学习刘老师视频)
- unicode RLO 伪装windows文件格式
热门文章
- windows功能_Windows可选功能介绍
- java币值转换_-PAT-java-5-23 币值转换 (20分)
- ubuntu WPS字体缺失 解决方法
- mouseover、mouseenter
- 计算机ip地址在哪找,如何查ip地址,电脑ip地址在哪看
- CSS画出半圆,四分之一圆,三角等图形
- android广告赚钱[转]
- 草图vr3.6许可证服务器安装失败,SU2018装Vray3.6出现这个是怎么回事啊
- 解决!适用黑苹果解决充电和使用电池中黑苹果自动睡眠
- 橘子学ES11之URI搜索方式