下载faceScrub人脸数据库（多线程版本）

54在上一篇博文中，我用单线程版本的Python来实现下载脚本，其中最大的不足在于它是单线程的，很慢。

其实，下载网络图片是天然的具有并行性的，因为下载每一副图片都是独立的，甚至线程之间都不用交互。

[python] view plain copy

-*- coding: utf-8 -*-
"""
Created on Tue Apr 07 20:19:38 2015
@author: Chenriwei
"""
import threading
import time
import urllib
def download_and_save(url,savename):
try:
urlopen=urllib.URLopener()
fp = urlopen.open(url)
data = fp.read()
fp.close()
fid=open(savename,'w+b')
fid.write(data)
print "下载成功："+ url
fid.close()
except IOError:
print "下载失败:"+ url
def get_all_iamge(filename):
fid=open(filename)
lines=fid.readlines()
for line in lines:
line_split=line.split('\t')
name=line_split[0]
image_id=line_split[1]
face_id=line_split[2]
box=line_split[4]
image_url=line_split[3]
if False == os.path.exists(name):
os.mkdir(name)
savefile=name+'/'+image_id+'.jpg'
#最多1000个线程，
while True:
if(len(threading.enumerate()) < 1000):
break
t = threading.Thread(target=download_and_save,args=(image_url,savefile,))
t.start()
if __name__ == "__main__":
get_all_iamge('facescrub_actresses.txt')

用多线程去下载图片，明显就快很多了，看自己电脑的网速，一个小时一般就可以都下载完数据库。

下载好了的网盘地址：

链接：http://pan.baidu.com/s/1qWQpqEw 密码：tyym

下载faceScrub人脸数据库（多线程版本）相关推荐

mysql5.045_Microsoft SQL Server数据库各版本下载地址集合
sql server 2019 enterprise (x64) - dvd (chinese-simplified)企业版 ed2k://|file|cn_sql_server_2019_enter ...
现有的人脸数据库介绍及下载链接
在国际上已有的一些人脸数据库: Yale人脸库(美国): 耶鲁大学,15人,每人11张照片,主要包括光照条件的变化,表情的变化等. ORL人脸库(英国): 剑桥大学,40人,每人10张照片,包括表情变 ...
FaceDataset常用的人脸数据库
from: http://blog.csdn.net/chenriwei2/article/details/50631212 公开人脸数据集本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸 ...
【数据库】FaceDataset常用的人脸数据库
公开人脸数据集本页面收集到目前为止可以下载到的人脸数据库,可用于训练人脸深度学习模型. 人脸识别数据库描述用途获取方法 WebFace 10k+人,约500K张图片非限制场景链接 Fac ...
虹软人脸识别WPF版本,含活体检测
虹软人脸识别WPF版本,3.0类库,含活体检测源码地址: https://gitee.com/dacaba/arcface-demo-csharp-wpf3 将对应appid和appkey替换App ...
flyway常用配置_Spring Boot 2 实战：使用 Flyway 管理你数据库的版本变更
1. 前言随着项目的不断迭代,数据库表结构.数据都在发生着变化.甚至有的业务在多环境版本并行运行.数据为王的时代,管理好数据库的版本也成为了迫切的需要.如何能做到像 Git 之类的版本控制工具来管理 ...
sonarQube 7.2版本下载配置pmd插件（版本要兼容）,并设置只使用pmd规则
sonarQube 7.2版本下载配置pmd插件(版本要兼容),并设置只使用pmd规则 sonar入门了解 sonarQube是一款优秀的持续集成平台工具,能集成业内常见的CI工具,如Jenkins, ...
（五）为边缘AI人脸识别创建人脸数据库
目录介绍数据库中有什么创建数据库填充数据库下一步在这里,我们将解释用于人脸识别的简单人脸数据库的结构,开发用于将人脸添加到人脸数据库的实用程序的Python代码,并提供下载人脸以创建数据库 ...
官网下载Eclipse（包含历史版本及该版本的子版本）
一.Eclispe下载 1.打开Eclipse官网,默认进入官网首页,官网地址为:https://www.eclipse.org/ 2.点击左上角 Download 进入下载页面进行下载 3.下载页面 ...
mysql数据库有哪些版本_MySQL数据库各个版本的区别
MySQL数据库各个版本的区别 MySQL数据库 MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),MySQL数据库系统使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管 ...

下载faceScrub人脸数据库（多线程版本）

下载faceScrub人脸数据库（多线程版本）相关推荐

最新文章

热门文章

下载faceScrub人脸数据库 （多线程版本）

下载faceScrub人脸数据库 （多线程版本）相关推荐

最新文章

热门文章

下载faceScrub人脸数据库（多线程版本）

下载faceScrub人脸数据库（多线程版本）相关推荐