人脸数据集——亚洲人脸数据集

大规模亚洲人脸数据的制作

在这次大规模亚洲人脸数据制作主要是亚洲明星人脸数据集，此次我爬取了大概20万张亚洲人脸图像，可以修改爬取每位明星图片的数量来获取更多的图片，过程中主要分以下几步：

获取明星名字列表

（1）、首先从百度搜索栏中搜索“明星”，显示出明星栏目，地区包括内地、香港、台湾、韩国和日本，如下图：

（2）、使用python爬虫将这些明星的名字爬取下来，代码如下所示：

import os
import time
import json
import requestsdef getManyPages(pages):params=[]for i in range(0, 12*pages+12, 12):params.append({'resource_id': 28266,'from_mid': 1,'format': 'json','ie': 'utf-8','oe': 'utf-8','query': '台湾明星','sort_key': '','sort_type': 1,'stat0': '','stat1': '台湾','stat2': '','stat3': '','pn': i,'rn': 12})url = 'https://sp0.baidu.com/8aQDcjqpAAV3otqbppnN2DJv/api.php'
#    names = []
#    img_results = []x = 0f = open('starName.txt', 'w')for param in params:try:res = requests.get(url, params=param)js = json.loads(res.text)results = js.get('data')[0].get('result')except AttributeError as e:print(e)continuefor result in results:img_name = result['ename']
#            img_url = result['pic_4n_78']
#            img_result =  [img_name,img_url]
#            img_results.append(img_result)f.write(img_name+'\n')#        names.append(img_name)if x % 10 == 0:print('第%d页......'%x)x += 1f.close()if __name__ == '__main__':getManyPages(400)

这里需要注意：params里的‘query’：‘台湾明星’；‘start1’：‘台湾’，对应台湾地区的明星，修改这两个值可以获得‘内地’、‘香港’、‘韩国’等地区的明星。从图一可以看出，每页有12位明星，getManyPages(400)是获取400页的明星名单结果，也就是12*400=4800位明星名单，通过修改获取页码值来获取更多明星的名单，将获取的明星名单保存成文本文件，在后续操作中将会用到，同时也能避免代码终止又要重新爬取。

根据名单列表爬取明星图片

这里我将使用开源的网络爬虫来爬取明星图片，需要导入icrawler库，对该库的详细介绍，读者可以自己百度；由于一些小明星的照片在百度上有可能搜不到，并且百度上照片有时会很杂，所以这里我将在Bing搜索上爬取明星人脸图片，代码如下：

import os
from icrawler.builtin import BingImageCrawler
path = r'E:\weather_test\BingImage'
f = open('KoreaStarName.txt', 'r')
lines = f.readlines()
for i, line in enumerate(lines):name = line.strip('\n')file_path = os.path.join(path, name)if not os.path.exists(file_path):os.makedirs(file_path)bing_storage = {'root_dir': file_path}bing_crawler = BingImageCrawler(parser_threads=2, downloader_threads=4, storage=bing_storage)bing_crawler.crawl(keyword=name, max_num=10)print('第{}位明星：{}'.format(i, name))

其中，path为将要保存爬取的明星图片的路径，可以.txt文件为上一步爬取的明星名单文件，通过修改

bing_crawler.crawl()中的max_num的值来改变爬取每位明星的图像数目。

对爬取的明星图片做粗略清洗

这里主要针对非人脸图像的清洗，由于爬取的图像里有可能出现非人像图片，需要对它进行删除，通过对图像人脸判断来确认是否包含人脸图像，代码如下：

其中，使用face_recognition库检测图像上是否有人脸，该库在windows上的安装比较麻烦，读者可以百度，有详细的windows安装教程，同时也使用了一些容错代码，避免出现错误，代码运行中断。path为爬取明星图片的文件目录，new_path为清洗后保存到的人脸图像目录。

import os
import face_recognition
from PIL import Image
from PIL import ImageFile
import threading
ImageFile.LOAD_TRUNCATED_IMAGES = Truedef process_img(path, new_path):dirs = os.listdir(path)for pic_dir in dirs:print(pic_dir)dir_path = os.path.join(path, pic_dir)pics = os.listdir(dir_path)for pic in pics:pic_path = os.path.join(dir_path, pic)image = face_recognition.load_image_file(pic_path)face_locations = face_recognition.face_locations(image)if len(face_locations) == 0:continueimg = Image.open(pic_path)new_pic_path = os.path.join(new_path, pic_dir)if not os.path.exists(new_pic_path):os.makedirs(new_pic_path)if len(img.split()) == 4:# 利用split和merge将通道从四个转换为三个r, g, b, a = img.split()toimg = Image.merge("RGB", (r, g, b))toimg.save(new_pic_path + '\\' + pic)else:try:img.save(new_pic_path + '\\' + pic)except:continueprint('Finish......!')def lock_test(path, new_path):mu = threading.Lock()if mu.acquire(True):process_img(path, new_path)mu.release()if __name__ == '__main__':paths = [r'E:\weather_test\亚洲人脸4_1', r'E:\weather_test\亚洲人脸4_2', r'E:\weather_test\亚洲人脸4_3',r'E:\weather_test\亚洲人脸4_4', r'E:\weather_test\亚洲人脸4_5', r'E:\weather_test\亚洲人脸4_6']new_paths = [r'E:\weather_test\4_1', r'E:\weather_test\4_2', r'E:\weather_test\4_3', r'E:\weather_test\4_4',r'E:\weather_test\4_5', r'E:\weather_test\4_6']for i in range(len(paths)):my_thread = threading.Thread(target=lock_test, args=(paths[i], new_paths[i]))my_thread.start()

人脸数据集——亚洲人脸数据集相关推荐

CASIA-FaceV5亚洲人脸数据集以及对应的测试pairs文件
目录一.前言二.生成Pairs文件三.下载资源 1.官网下载地址 2.百度网盘下载资源一.前言含有CASIA-FaceV5亚洲人脸数据集,以该数据集作为测试集所生成的同一人和不同人对应的测试 ...
常用的人脸检测识别等数据集百度云下载
我们整理了一批常用的人脸识别数据集给大家,欢迎大家下载并收藏~ 1)PubFig: Public Figures Face Database 哥伦比亚大学的公众人物脸部数据集,包含有200个人的58k ...
标识别,人脸识别等常用数据集
参考博客: https://www.cnblogs.com/weiyinfu/p/8016405.html#32 常用数据集一.Cifar数据集 Hinton参与收集彩色图像(RGB) 图像尺寸相 ...
3D人脸重建和人脸分析常用的数据集汇总
作者:Tom Hardy Date: 2019-12-31 来源:3D人脸重建和人脸分析常用的数据集汇总
风格化图像_【技术综述】人脸风格化核心技术与数据集总结
我的新书<深度学习之人脸图像算法>市了,欢迎大家关注! 言有三新书来袭,业界首次深入全面讲解深度学习人脸图像算法mp.weixin.qq.com 人脸图像是计算机视觉领域中研究历史最久, ...
【技术综述】人脸风格化核心技术与数据集总结
人脸图像是计算机视觉领域中研究历史最久,也是应用最广泛的图像.近几年随着研究方法的进步以及相关数据集的收集,人脸风格化成为了一个非常热门的研究领域和应用方向,本文我们来介绍其中的核心技术和相关资源. ...
celeba数据集_人脸识别常用数据集介绍（附下载链接）及常用评估指标
为什么要聊到数据集这个话题..因为数据集的noise对训练效果的影响很大!很长一段时间MegaFace的效果都上不去,就是因为数据集噪声的原因.而且自己在训练人脸的时候,如果不对数据集的噪声和属性有一 ...
yolo人脸检测数据集_自定义数据集上的Yolo-V5对象检测
yolo人脸检测数据集计算机视觉 (Computer Vision) Step by step instructions to train Yolo-v5 & do Inference(fr ...
【人脸识别】LFW数据集介绍
Labeled Faces in the Wild官网:LFW 1. 简介 LFW (Labeled Faces in the Wild) 人脸数据库是由美国马萨诸塞州立大学阿默斯特分校计算机视觉实验 ...
python虚拟人脸生成_Python-OpenCV人脸识别之数据集生成
在上一篇文章中,我们学习了如何安装配置OpenCV和Python,然后写了些代码玩玩人脸检测.现在我们要进行下一步了,即搞一个人脸识别程序,就是不只是检测还需要识别到人是谁. 来,搞人脸识别要搞一个 ...

人脸数据集——亚洲人脸数据集

大规模亚洲人脸数据的制作

获取明星名字列表

根据名单列表爬取明星图片

对爬取的明星图片做粗略清洗

人脸数据集——亚洲人脸数据集相关推荐

最新文章

热门文章