Kinetics数据集下载

Kinetics数据集是行为识别中十分重要的benchmark，其地位相当于图像分类中的ImageNet。本人目前在做小样本行为识别，需要用到Kinetics-400数据集搭建Kinetics-100小样本行为识别数据集。由于种种原因，网上的数据集都有缺失，所以本人基于已经下载的数据集，使用youtube-dl下载缺失视频，仅供大家参考。

百度网盘

1、https://www.codeleading.com/article/23055974480/
该方法用了特定软件将数据集分割成132个小数据集，下载完成后需要使用cat命令完成拼接。对拼接的数据集解压，即可得到Kinetics-400。建议下载好后，在linux下拼接解压或者在windows下安装git bash。

2、https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/dataset/k400.md
作者在文中介绍了两种方法，一种是百度网盘下载（数据和第一种方法不一样）；另一种使用脚本下载，需要下载官方的trainlist.csv和testlist.csv文件。

和第一种百度网盘方法不同的是，第二种每个子数据集都可以单独解压。不幸的是，第一种方法缺失的视频更多。

Activity

https://www.codetd.com/article/5004295
使用youtube-dl工具，根据提供的唯一标识符youtu id下载视频。

1、下载爬取视频代码https://github.com/activitynet/ActivityNet.git
2、安装youtube-dl包
3、安装ffmpeg
注意：使用pip和conda装的ffmpeg会报以下错误

‘ffmpeg’ 不是内部或外部命令，也不是可运行的程序或批处理文件

需要去官网下载源码，解压后可以在bin目录下得到三个文件，如下图所示。

将"E:/ffmpeg/bin"写进环境变量，即可在命令行使用ffmpeg命令。

A. 下载好代码后，进入ActivityNet-master\ActivityNet-master\Crawler\Kinetics目录，准备一个csv文件data.csv，存储需要下载的视频youtube_id、视频开始时间、视频结束时间、后面两个参数不重要，可以直接写train和0。

python download.py data.csv dataset

但是直接运行这个代码频繁报错，各种错误，而且代码里是先下载原始视频，存储在tmp临时目录中，接着使用ffmpeg工具对视频长度裁剪，清空临时目录，将裁剪后视频放到dataset中。

考虑到中间可能会出现各种错误，我对代码进行了部分修改，先从YouTube下载所有需要的视频，存储在videos中。

#此处将后续的ffmpeg裁剪去掉，同时修改了输出文件位置及视频名称，下载的视频以_kDc7gYphkU_000193_000203.mp4即id_start-time_end-time.mp4 格式命名。方便后续直接根据视频名字读取长度信息进行视频裁剪。
def download_clip(video_identifier, output_filename,start_time, end_time,tmp_dir='/tmp/kinetics',num_attempts=5,url_base='https://www.youtube.com/watch?v='):"""Download a video from youtube if exists and is not blocked.arguments:---------video_identifier: strUnique YouTube video identifier (11 characters)output_filename: strFile path where the video will be stored.start_time: floatIndicates the begining time in seconds from where the videowill be trimmed.end_time: floatIndicates the ending time in seconds of the trimmed video."""# Defensive argument checking.assert isinstance(video_identifier, str), 'video_identifier must be string'assert isinstance(output_filename, str), 'output_filename must be string'assert len(video_identifier) == 11, 'video_identifier must have length 11'status = False# Construct command line for getting the direct video link.tmp_filename = os.path.join(tmp_dir,'%s.%%(ext)s' % uuid.uuid4())#print("origin",tmp_filename)command = ['youtube-dl','--quiet', '--no-warnings','-f', 'mp4','-o', '"%s"' % output_filename,'"%s"' % (url_base + video_identifier)]# print('%s*' % (tmp_filename.split('.')[0]))# print(glob.glob('%s*' % tmp_filename.split('.')[0]))# tmp_filename = glob.glob('%s*' % (tmp_filename.split('.')[0]))[0]command = ' '.join(command)print(command)attempts = 0while True:try:output = subprocess.check_output(command, shell=True,stderr=subprocess.STDOUT)except subprocess.CalledProcessError as err:attempts += 1if attempts == num_attempts:return status, err.outputelse:break

B. 读取下载视频，使用ffmpeg工具剪切视频

def read(dir,out_dir):vid = os.listdir(dir)for k in vid:    id = k.split('.')[0]vid_path = os.path.join(dir,id)start_time = int(id.split('_')[-2])end_time = int(id.split('_')[-1])vid_name = id.split('_')[0] + id.split('_')[1]print("{} {} {} {}".format(vid_path,vid_name,start_time,end_time))out_file = os.path.join(out_dir,vid_name+".mp4")status = Falsecommand = ['ffmpeg','-i', '"%s"' % os.path.join(dir,k),'-ss', str(start_time),'-t', str(end_time - start_time),'-c:v', 'libx264', '-c:a', 'copy','-threads', '1','-loglevel', 'panic','"%s"' % out_file]command = ' '.join(command)print(command)try:output = subprocess.check_output(command, shell=True,stderr=subprocess.STDOUT)except subprocess.CalledProcessError as err:return status, err.output

C. 根据配置文件，分析每个视频的动作类别，存储在act字典中，后续读取字典，创建相应动作类别目录，存储RGB帧

def parse(file):act = {}with open(file, "r") as fid:data = fid.readlines()#print(data)for i in range(len(data)):action = data[i].split('/')[0]vid = data[i].split('/')[1]if len(vid.split('_')) == 4:vid_name = vid.split('_')[0] + vid.split('_')[1]else:vid_name = vid.split('_')[0]act[vid_name] = action#print("{} {}".format(action,vid_name))return act

D. 使用ffmpeg工具提取视频RGB帧

def run_RGB_copy(source_path,target_path):# 读取视频文件cmd = 'ffmpeg'+' -i {} {}/image-%6d.jpg'.format(source_path,target_path)print(cmd)os.system(cmd)print('{} done'.format(source_path))sys.stdout.flush()return True
def RGB(out_dir,img_dir,file):#read videosvid = os.listdir(out_dir)act = parse(file)print(vid)for i in range(len(vid)):video_path = os.path.join(out_dir,vid[i])action = act[vid[i].split('.')[0]]target_action_path = os.path.join(img_dir,action)if os.path.exists(target_action_path) == False:os.mkdir(target_action_path)target_video_path = os.path.join(target_action_path,vid[i].split('.')[0])if os.path.exists(target_video_path) == False:os.mkdir(target_video_path)print(video_path)print(target_video_path)run_RGB_copy(video_path,target_video_path)

Kinetics数据集下载及RGB帧提取介绍到这里，希望对大家能有所帮助！