大数据实验数据集何处来?
徐海蛟博士 Teaching
海量数据(又称大数据)已经成为各大互联网企业面临的最大问题,如何处理海量数据,提供更好的解决方案,是目前相当热门的一个话题。类似MapReduce、 Hadoop等架构的普遍推广,大家都在构建自己的大数据处理,大数据分析平台。
相应之下,目前对于海量数据处理人才的需求也在不断增多,此类人才可谓炙手可热!越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到,或者有机会去处理海量数据的,所以就需要一些公开的海量数据集来研究。
有人就问到徐老师:如何获取海量数据集?此问题得到了很多人的关注。具体可以看看回答,数据集的种类多种多样,有化学分析,基因遗传等等,从中你肯定能得到自己想要个数据集。
首先说说几个收集数据集的网站:
(因为博文不允许发布外链,只好删除链接!自行去谷歌搜索下载地址)
1、Public Data Sets on Amazon Web Services (AWS)
Amazon从2008年开始就为开发者提供几十TB的开发数据。
2、Yahoo! Webscope
3、Konect is a collection of network datasets
4、Stanford Large Network Dataset Collection
再就是说说几个跟互联网有关的数据集:
1、Dataset for "Statistics and Social Network of YouTube Videos"
2、1998 World Cup Web Site Access Logs
这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中,发生了 1,352,804,107次请求。
3、Page view statistics for Wikimedia projects
4、AOL Search Query Logs - RP
5、livedoor gourmet
海量图像数据集:
1、ImageNet
包含1400万的图像。
2、Tiny Images Dataset
包含8000万的32x32图像。
3、 MirFlickr1M
Flickr中的100万的图像集。
4、 CoPhIR
Flickr中的1亿600万的图像
5、SBU captioned photo dataset
Flickr中的100万的图像集。
6、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
包含2亿图像
7、NUS-WIDE
Flickr中的27万的图像集。
8、SUN dataset
包含13万的图像
9、MSRA-MM
包含100万的图像,23000视频
10、TRECVID
目前还没有国内的企业或者组织开放自己的数据集。
转载于:https://blog.51cto.com/xuhaijiao/1306146
大数据实验数据集何处来?相关推荐
- AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟
AI公开课:19.05.29 浣军 百度大数据实验室主任<AutoDL 自动化深度学习建模的算法和应用>课堂笔记以及个人感悟 导读 浣军博士,汉族,1975年出生于江苏苏州, ...
- 在阿里云中搭建大数据实验环境
云计算是和自来水一样的商业模式.有了自来水,我们可以不用自己挖井,就可以快速.便捷.廉价地获得水资源.而有了云计算,我们就可以不用自己建机房.买设备.维护系统,就可以快速.便捷.廉价地获得IT资源(C ...
- 邀请函|欢迎参加2019云创大数据实验平台金融类/电子商务类/数学统计类院校各省总代理招募大会!...
云创大数据将于2019年1月16日(周三)在南京举办"2019云创大数据实验平台金融类/电子商务类/数学统计类院校各省总代理招募大会",欢迎全国各省有意愿成为云创大数据实验平台各省 ...
- 头歌Educoder云计算与大数据——实验二 Hadoop单机部署
头歌Educoder云计算与大数据--实验二 Hadoop单机部署 答案在下面的链接里 https://blog.csdn.net/qq_20185737/article/details/114677 ...
- 大数据实验报告总结体会_大数据挖掘流程及方法总结
是新朋友吗?记得先点蓝字关注我哦- 今日课程菜单 Java全栈开发 | Web前端+H5 大数据开发| 数据分析 人工智能+Python | 人工智能+物联网 来源:小职(z_zhizuobiao) ...
- 大数据实验报告总结体会_建设大数据中台架构思考与总结
简介 本文介绍完善的大数据中台架构了解这些架构里每个部分的位置,功能和含义及背后原理及应用场景. 帮助技术与产品经理对大数据技术体系有个全面的了解. 数据中台定义:集成离线数仓与实时数仓,并以多数据源 ...
- 哈工大大数据实验_【新闻动态】南京大学PASA大数据实验室在KDD Cup 2020 AutoGraph自动化图数据建模国际挑战赛中荣获第二名...
近期,在素有"数据世界杯"之称的KDD Cup 2020数据挖掘国际大赛AutoML自动化机器学习赛道(AutoGraph自动化图数据建模)中,南京大学PASA大数据实验室代表队P ...
- MaxCompute SQL大数据公开数据集实战
MaxCompute公开数据集简介 目前阿里云MaxCompute已经免费向全部用户开放了多种公用数据集,包括: 股票价格数据 房产信息 影视及其票房数据 TPC-DS数据集 这些公开数据现已免费开放 ...
- 大数据实验报告【全集】
所用教材↑,配套PPT和厦门大学林子雨配套MOOC内容和书里的内容差不多. [意味着课上不好好听,课下你还能看教科书补(╹ڡ╹ )]建议先实验再听课或看书. 若对你有帮助的话,记得点赞.关注我哦!实验 ...
- 哈工大大数据实验_大数据创新实验室丨警大智慧警务学院人才培养打造新引擎...
2020年11月13日,警察大学智慧警务学院与江苏省南通市通州区公安局签署了<大数据创新运用联合开发实验室合作框架协议>.智慧警务学院党委书记王连鹏,南通市通州区副区长.公安局局长杨彬,南 ...
最新文章
- 看完这部缓存进化史,还不懂缓存,请给我差评
- npm ERR! asyncWrite is not a function
- 测量角速度_锡膏的粘度如何正确鉴别和精确测量?
- HTML5 本地文件操作之FileSystemAPI整理(一)
- 红橙Darren视频笔记 自己捕获异常并保存到本地
- collection.stream()以及collect()方法
- vue循环出来列表里面的列表点击click事件只对当前列表有效;
- 能翻译整篇论文的软件有什么?
- CefSharp 中过滤图片 RequestHandler
- win10 红警启动必要文件
- Airtag小贵但好用?Beacon防丢功能体验
- 开发微信小程序所需要的http服务器搭建
- LightningChart JS Crack,2D 和 3D JavaScript 图表
- SRM- Golink体验报告
- python spss_SPSS语法调用Python,让spss插上翅膀
- RK3588平台开发系列讲解(进程篇)进程的简介
- 三极管晶体管-2个NPN三极管组成的恒流电路
- 【Android 开发】SufaceView自定义相机拍照
- Tomcat8源码解析
- YOLOV5 模型和代码修改——针对小目标识别
热门文章
- 我需要一个足够大的桌子
- ScrollView不设置contentSize属性依然也可以作为底层滚动View(使用masonry设置scrollView的contentSize)...
- 如何利用Chrome工具进行前端js调试
- NOIP2008pj luoguP1058 立体图 模拟
- MSP430G2333下位机乘法运算需要注意的一个问题
- 快到而立之年了,可是能撑得起而立吗?
- 内容管理项目小结 成功案例-公司官网,游戏官网
- SharePoint:扩展DVWP - 第10部分:在表单操作工作流中传递工作流变量
- 我给一个团队新成员的信
- LeetCode:路径总和II【113】