数据挖掘基于数据库理论，机器学习，人工智能，现代统计学的迅速发展的交叉学科，在很多领域中都有应用。涉及到很多的算法，源于机器学习的神经网络，决策树，也有基于统计学习理论的支持向量机，分类回归树，和关联分析的诸多算法。数据挖掘的定义是从海量数据中找到有意义的模式或知识。

大数据是今年提出来，也是媒体忽悠的一个概念。有三个重要的特征：数据量大，结构复杂，数据更新速度很快。由于Web技术的发展，web用户产生的数据自动保存、传感器也在不断收集数据，以及移动互联网的发展，数据自动收集、存储的速度在加快，全世界的数据量在不断膨胀，数据的存储和计算超出了单个计算机(小型机和大型机)的能力，这给数据挖掘技术的实施提出了挑战（一般而言，数据挖掘的实施基于一台小型机或大型机，也可以进行并行计算）。Google提出了分布式存储文件系统，发展出后来的云存储和云计算的概念。
大数据需要映射为小的单元进行计算，再对所有的结果进行整合，就是所谓的map-reduce算法框架。在单个计算机上进行的计算仍然需要采用一些数据挖掘技术，区别是原先的一些数据挖掘技术不一定能方便地嵌入到 map-reduce 框架中，有些算法需要调整。
此外，大数据处理能力的提升也对统计学提出了新的挑战。统计学理论往往建立在样本上，而在大数据时代，可能得到的是总体，而不再是总体的不放回抽样。

作者：叶开
来源：知乎

大数据和数据挖掘有什么关系相关推荐

  1. 一篇让你深度思考的文章|大数据与数据挖掘的相对绝对关系 大数据

    数据不是信息,而是有待理解的原材料.但有一件事是确定无疑的:当NSA为了从其海量数据中"挖掘"出信息,耗资数十亿改善新手段时,它正受益于陡然降落的计算机存储和处理价格. 麻省理工学 ...

  2. 大数据与Hadoop有什么关系？大数据Hadoop入门简介

    学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...

  3. 大讲台浅谈大数据与Hadoop之间的关系

    在现如今,随着面对当前企业级用户对于自建数据中心兴趣的不断扩大,以及大数据正在以惊人的速度增长几乎触及各行各业,而大数据是一种新兴的数据挖掘技术,它正在让数据处理和分析变得更便宜更快速.大数据技术一旦 ...

  4. 如何入门大数据（数据挖掘方面）

    可供工程师选择的大数据岗位 从雇主需求看,如何发掘自己转岗优势 为转岗工程师提供的建议 ps:本回答较长,读完约要6分钟. 可供工程师选择的大数据岗位 大数据平台/开发工程师 他们的工作重心在于数据的 ...

  5. 干货解读 |大数据，数据挖掘，机器学习的区别和联系

    大数据 大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取.管理.处理.并整理成为帮助企业经营决策更积极目的的资讯. 研究机构Gartn ...

  6. 2021-03-28为什么用SCALA语言优势在哪里 Scala适合服务端、大数据、数据挖掘、NLP、图像识别、机器学习、深度学习…等等开发。

    Go适合服务端.桌面应用程序开发. Scala适合服务端.大数据.数据挖掘.NLP.图像识别.机器学习.深度学习-等等开发. Python适合做网络爬虫.自动化运维.快速地实现算法的原型. 但是Pyt ...

  7. 5G精华问答 | 大数据和5G有什么关系？

    戳蓝字"CSDN云计算"关注我们哦! 即将到来的5G,通过提升连接速率,提升了"人联网"的感知,也促进了人类主动创造数据.另一方面,它更多是为"物联网 ...

  8. 区块链与大数据究竟有着怎样的关系？

    今天,很多人还没弄懂大数据,区块链又来了.区块链与大数据究竟有着怎样的关系?看完本文的五大观点,你会认同赛智时代的这个结论:区块链让大数据汹涌而来. 本文转自http://www.raincent.c ...

  9. 【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】

    [爬虫+数据可视化毕业设计:英雄联盟数据爬取及可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩] https://b23.tv/TIoy6hj

  10. 【【数据可视化毕业设计：差旅数据可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】-哔哩哔哩】 https://b23.tv/iTt30QG

    [[数据可视化毕业设计:差旅数据可视化分析,python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取,程序开发-哔哩哔哩]-哔哩哔哩] https://b23.tv/iTt30QG ht ...

最新文章

  1. 从零点五开始用Unity做半个2D战棋小游戏（五）
  2. 2019第一篇万字长文！30+家一线投资机构已出投资新策略...
  3. 【Project3】技术总结
  4. flask框架+mysql数据库并与前台数据交互
  5. Uploadify 配置错误信息提示
  6. DP(三)——简单的完全背包
  7. linux 域名怎么平台,linux平台搭建DNS域名服务与常用配置
  8. java frameview_Java FrameLayout.removeView方法代码示例
  9. 移动硬盘主分区格式化后，逻辑分区找不到的解决方法
  10. 金错刀：“打工皇帝”唐骏的职场潜规则
  11. mysql select 返回列_mySQL – 使用select返回多行来更新多个列
  12. （转）郭广昌：复星账上有400亿现金，未来十年一切围绕C2M战略
  13. java虚拟机工作原理_java虚拟机原理及工作原理都是什么？java虚拟机如何运行？...
  14. 视频质量评价 VMAF，为何让人又喜又忧？
  15. Python数据分析与机器学习-Python库分析科比生涯数据
  16. linux访问mdio接口函数,Linux 下smi/mdio总线通信
  17. angular uibpagination 分页相关
  18. C#读写欧姆龙PLC数据omron 使用TCP/IP FINS协议
  19. 【基于LM358和LM386的话音放大器设计】
  20. java affinity_sched_setaffinity（）如何工作？

热门文章

  1. 如何根据地址确定中央经线和带号
  2. 萤石开放平台的二次开发——设备如何上云
  3. 世界各国Google域名后缀对照表
  4. 【数据分析】豆瓣电影Top250爬取的数据的可视化分析
  5. 题目9：身高排序（绝对差值）
  6. matlab插值与拟合例题_[转载]MATLAB插值与拟合(1)
  7. 谷歌浏览器怎么长截图怎么截_Google浏览器如何截取网页长图 - 里维斯社
  8. 144项大神级ppt制作技术
  9. 【抖音视频去水印小程序开源】mosousuo—微信小程序下载抖音去水印视频
  10. 幼儿园数学目标_幼儿园数学区目标