常见数据收集网站-数学建模(二十二)
常见数据收集网站:
一.由简单和通用的数据集开始
1.data.gov( https://www.data.gov/ )
这是美国政府公开数据的所在地,该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。
2.data.gov.in( https://data.gov.in/ )
这是印度政府公开数据的所在地,通过各种行业、气候、医疗保健等来寻找数据,你可以在这里找到一些灵感。根据你居住的国家的不同,你也可以从其他一些网站上浏览类似的网站。
3.WorldBank( http://data.worldbank.org/ )
世界银行的开放数据。该平台提供 Open Data Catalog,世界发展指数,教育指数等几个工具。
4.RBI( https://rbi.org.in/Scripts/Statistics.aspx )
印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。
5.Five ThirtyEight Datasets ( https://github.com/fivethirtyeight/data )
Five Thirty Eight,亦称作 538,专注与民意调查分析,政治,经济与体育的博客。该数据集为 Five ThirtyEight Datasets 使用的数据集。每个数据集包括数据,解释数据的字典和Five ThirtyEight 文章的链接。如果你想学习如何创建数据故事,没有比这个更好。
二.大型数据集
1.Amazon WebServices(AWS)datasets
( https://aws.amazon.com/cn/datasets/ )
Amazon提供了一些大数据集,可以在他们的平台上使用,也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集,Google Booksn-gram,NASA NEX 数据集,百万歌曲数据集等。
2.Googledatasets
( https://cloud.google.com/bigquery/public-data/ )
Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。
3.Youtubelabeled Video Dataset
( https://research.google.com/youtube8m/ )
几个月前,谷歌研究小组发布了YouTube上的“数据集”,它由800万个YouTube视频id和4800个视觉实体的相关标签组成。它来自数十亿帧的预先计算的,最先进的视觉特征。
四.预测建模与机器学习数据集
1.UCI MachineLearning Repository
( https://archive.ics.uci.edu/ml/datasets.html )
UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集,通常是首选的地方。这些数据集包括了各种各样的数据集,从像Iris和泰坦尼克这样的流行数据集到最近的贡献,比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。
2.Kaggle
( https://www.kaggle.com/datasets )
Kaggle提出了一个平台,人们可以贡献数据集,其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方,但我在平台上看到了一些有趣的数据集,而不是在其他地方出现。与新的数据集一起,界面的另一个好处是,您可以在相同的界面上看到来自社区成员的脚本和问题。
3.AnalyticsVidhya
(https://datahack.analyticsvidhya.com/contest/all/ )
您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题,并且相对较小,因为它们意味着2 - 7天的黑客马拉松。
4.Quandl
( https://www.quandl.com/ )
Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费,但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如,来自印度的证券交易所数据是免费的。
5.Past KDDCups
( http://www.kdd.org/kdd-cup )
KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。
6.DrivenData
( https://www.drivendata.org/ )
Driven Data 发现运用数据科学带来积极社会影响的现实问题。然后,他们为数据科学家组织在线模拟竞赛,从而开发出最好的模型来解决这些问题。
三.图像分类数据集
1.The MNISTDatabase
( http://yann.lecun.com/exdb/mnist/ )
最流行的图像识别数据集,使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。
2.Chars74K
(http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/ )
这里是下一阶段的进化,如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像,因此数据集的名称。
3.Frontal FaceImages
(http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html )
如果你已经完成了前两个项目,并且能够识别数字和字符,这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的,排列在四个文件夹中。
4.ImageNet
( http://image-net.org/ )
现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前,该集合平均每个节点有超过500个图像(而且还在增加)。
四.文本分类数据集
1.Spam – NonSpam
(http://www.esp.uem.es/jmgomez/smsspamcorpus/)
区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。
2.TwitterSentiment Analysis
(http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/)
该数据集包含 1578627 个分类推文,每行被标记为1的积极情绪,0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。
3.Movie ReviewData
(http://www.cs.cornell.edu/People/pabo/movie-review-data/)
这个网站提供了一系列的电影评论文件,这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如,“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。
五.推荐引擎数据集
1.MovieLens
( https://grouplens.org/ )
MovieLens 是一个帮助人们查找电影的网站。它有成千上万的注册用户。他们进行自动内容推荐,推荐界面,基于标签的推荐页面等在线实验。这些数据集可供下载,可用于创建自己的推荐系统。
2.Jester
(http://www.ieor.berkeley.edu/~goldberg/jester-data/)
在线笑话推荐系统。
六.各种来源的数据集网站
1.KDNuggets
(http://www.kdnuggets.com/datasets/index.html)
KDNuggets 的数据集页面一直是人们搜索数据集的参考。列表全面,但是某些来源不再提供数据集。因此,需要谨慎选择数据集和来源。
2.Awesome PublicDatasets
(https://github.com/caesar0301/awesome-public-datasets)
一个GitHub存储库,它包含一个由域分类的完整的数据集列表。数据集被整齐地分类在不同的领域,这是非常有用的。但是,对于存储库本身的数据集没有描述,这可能使它非常有用。
3.RedditDatasets Subreddit
(https://www.reddit.com/r/datasets/)
由于这是一个社区驱动的论坛,它可能会遇到一些麻烦(与之前的两个来源相比)。但是,您可以通过流行/投票来对数据集进行排序,以查看最流行的数据集。另外,它还有一些有趣的数据集和讨论。
常见数据收集网站-数学建模(二十二)相关推荐
- 美国大学生数学建模竞赛数据常用网站-数学建模(十九)
http://www.census.gov/ 美国统计局(统计调查局或普查局)官方网站 The Census Bureau Web Site provides on-line access to ou ...
- 【数学建模】十二(最后一篇):MATLAB CUMCM真题求解实例三:机理建模型
机理建模问题在国赛中的占比呈上升趋势,近年来的题目有重庆交警平台设置.打车软件补贴优化.开放小区等问题, 本讲将以 2015 年的打车软件问题为例,介绍 MATLAB 在这类问题中的求解过程. 所介绍 ...
- 数学建模——一维、二维插值模型详解Python代码
数学建模--一维.二维插值模型详解Python代码 一.一维插值 # -*-coding:utf-8 -*- import numpy as np from scipy import interpol ...
- 一篇文章带你认识数学建模中的二维插值
本篇文章主要是认识数学建模中的二维插值 二维插值的具体计算可参考:一篇文章带你搞定二维插值的 MATLAB 计算 文章目录 一.引言 二.网格节点的概念 三.散乱节点的概念 四.二维插值的常见方法 1 ...
- 2023年五一数学建模 | 第二十届五一数学建模B题:快递需求分析问题思路
2023年五一数学建模 | 第二十届五一数学建模B题:快递需求分析问题思路 目录 2023年五一数学建模 | 第二十届五一数学建模B题:快递需求分析问题思路 基本介绍 问题1: 问题2: 问题3: 问 ...
- Python入门(二十二)- 常见模块2(正则表达式及容器)
二十二 常见模块2(正则表达式及容器) 22.1 正则表达式及re模块 正则表达式(Regular Expression)用于描述一种字符串匹配模式(Pattern),它可以用于检查一个字符串是否含有 ...
- 最新首途影视视频网站源码/二十二套带后台版全开源无加密源码
源码简介: 最新首途二十二套带后台版全开源无加密源码 菜单填写格式:MyTheme主题,/template/mytheme/admin/默认账号:admin默认密码:admin 下载链接 网盘源码 ...
- 2021年大数据Hadoop(二十二):MapReduce的自定义分组
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 MapReduce的自定义分组 需求 分析 实现 第一步: ...
- 数据科学和数学建模_数据科学与国际象棋心理建模重叠
数据科学和数学建模 Chess and data science have a lot in common. Some seemingly surface-level parallels includ ...
- JAVA基础知识总结:一到二十二全部总结
>一: 一.软件开发的常识 1.什么是软件? 一系列按照特定顺序组织起来的计算机数据或者指令 常见的软件: 系统软件:Windows\Mac OS \Linux 应用软件:QQ,一系列的播放器( ...
最新文章
- Java注解和xml_Spring注解配置和xml配置优缺点比较
- etcd 日志压缩_etcd集群备份和数据恢复以及优化运维
- 共识机制-权益证明 PoS
- sql语言和php,SQL语言快速入门(三)_php
- golang 使用sqlite3编码慢问题
- 【渝粤教育】国家开放大学2018年春季 0529-21T高级英语阅读(1) 参考试题
- 分析深圳电信的新型HTTP劫持方式
- PHP 7 的五大新特性
- 某企业虚拟化平台时间同步异常排查
- 【数学建模】灰色模型
- uni ios视频黑屏、无声音或无法播放
- Mockplus 3.2前瞻,五大特色功能让你惊喜!
- python -白白入门篇
- 关于《未来软件是什么样子?》一文的讨论(2)
- 快速沃尔什变换学习笔记
- 论文阅读:(arXiv 2021)Beyond Periodicity: Towards a Unifying Framework for Activations in Coordinate-MLP
- 在电路中运用叠加定理时,储能元件(电容,电感)的初始值只能计算一次
- python的f是什么意思_%f在python中什么意思
- 2016中欧绿色和智慧城市奖正式启动
- 设计模式(十)----策略模式
热门文章
- 分块器评估与语言结构中的递归
- [设计模式]创建模式-建造者(C++描述)
- 技校计算机可以学平面设计吗,上技校可以学平面设计吗 去技校学平面设计还是自己在家自学好 - 兔课网...
- 中文编程入门(Lua5.4中文版)第一个 Lua 程序,世界,你好!
- LVS之ipvsadm命令
- 我的 OCM 之路|书写无悔青春,追梦永不止步
- PyQt之QSS美化
- 《数据库系统概论》知识整理
- Pygame实战:花巨资筹备的一款Tom猫游戏,你玩过嘛?
- sqlnet.ora