什么是大数据以及大数据的相关技术？

所谓大数据，通俗理解就是短时间内快速产生的海量数据的各种有价值的数据，关键词是时间短，快速，海量，有价值，数据，通过大数据技术分析海量数据来得到其中有价值的数据用于商业途径，譬如分析用户的行为来进行定向广告投放，产品推荐等等。

而处理大数据的技术主要有：

分布式存储：多台服务器并行计算（分布式计算）分布式的处理方式又分为批处理和流处理。所谓批处理，就是先攒一段时间的数据，等到又需求的时候再进行处理；而流处理则是实时处理产生的每一条数据，不攒数据。

机器学习：包含深度学习(神经网络)，机器学习是一门新兴的技术，机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。凡是预测类的工作需要用到机器学习。

分布式存储的思想就是用多台服务器进行存储，比如我又一个1TB大写的电影，那么我自己的电脑是存下来很占用空间，或者压根就没法存，那么我可以用我室友的电脑来帮助我保存，具体做法是将1TB大小的电影进行切割(假设切割丢包问题不大)，可以切割为5个部分，一部分200G左右，我和4个室友就可以保存这部电影了，而当我要看这部电影的时候再从每台电脑中取出来进行拼接即可。分布式存储的一些概念此时可以引出：存储单元：被切割成5个部分的小电影；元数据：描述数据的数据；源数据：电影；代理节点(nameNode):管理元数据(索引);可以把我的电脑当作代理节点，因为我保存着我室友的电脑存储其他部分电影的索引，我的电脑能够按索引去取数据。而我的室友的电脑就可以看作是DataNode，用来存储各个部分的电影。因为分布式存储会存在安全问题，试想，如果我们其中一台电脑不能用了，那么整部电脑就没法看了，解决办法就是在各个电脑中作备份，比如室友1备份一份室友2存储的小电影，室友2备份室友3存储的小电影，以此递归备份，当一部电脑坏掉可以从其它电脑中拿到数据，这是牺牲了空间来换取数据安全

机器学习思想暂不作描述

什么是大数据以及大数据的相关技术？相关推荐

大数据、云计算、物联网相关技术概述——《大数据技术原理与应用》课程学习总结
在学习大数.云计算以及物联网相关概念之前,先了解一下大数据的背景吧 1.1 大数据时代 1.1.1 第三次信息化浪潮三次信息化浪潮: 信息化浪潮发生时间标志解决问题代表企业第一次信息化浪潮 ...
6 步搭建数据平台—从指标体系到相关技术 | 周四话数据
在开始介绍数据平台搭建的流程之前,先简单说说为什么企业需要搭建数据平台. 互联网与智能移动设备的迅速发展,使记录并保存用户的每一次日常行为及交易行为成为可能,这些信息以数据的形式保存下来,实现了各行业 ...
6 步搭建数据平台—从指标体系到相关技术
在开始介绍数据平台搭建的流程之前,先简单说说为什么企业需要搭建数据平台. 互联网与智能移动设备的迅速发展,使记录并保存用户的每一次日常行为及交易行为成为可能,这些信息以数据的形式保存下来,实现了各行业 ...
大数据丛书大数据日知录：架构与算法
大数据丛书大数据日知录:架构与算法(大数据领域专家力作,专注大数据架构和算法,全面梳理大数据相关技术) 张俊林著 ISBN 978-7-121-24153-6 2014年9月出版定价:69. ...
关于大数据技术的演讲_大数据以及大数据技术都包括哪些内容
大数据经过多年的发展,目前在概念上已经有了更多的含义,从不同的角度来看待大数据也会有不同的定义,但是总的来说,大数据可以用三个方面来进行概括,其一是"新的价值领域";其二是&quo ...
记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
问题概述使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务 ...
大数据之公开数据的价值
2019独角兽企业重金招聘Python工程师标准>>> 大数据按照访问权限来划分,可分为私有数据和公开数据.私有数据不是每个人都能够自由访问调用的数据,例如银行交易记录.抵押信息.医 ...
《大数据、小数据、无数据：网络世界的数据学术》一导读
前言| 在"大数据"风靡的当代,学术研究中的"小数据"依旧不容小觑.随着绝对数据量的增加,学者们进行个体研究的能力却不断退化.因为他们从未距离研究对象如此遥远 ...
记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案 1
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料作者:王帅来源地址:https://yq.aliyun.com/ ...
大数据的相关技术(Technology)
本文主要展示解决海量数据问题的时候使用的技术,注意这是从技术角度进行分析,只是一种思想并不代表业界的技术策略. 常用到的算法策略. 分治:多层划分.MapReduce 排序:快速排序.桶排序.堆排序 ...

什么是大数据以及大数据的相关技术？

什么是大数据以及大数据的相关技术？相关推荐

最新文章

热门文章