大数据里面说的“移动计算比移动数据划算”究竟是什么意思

经常看到一些大数据相关的博客，提到这样的一句话：移动计算比移动数据便宜。

然后巴拉巴拉一大堆解释，每一句解释里面又会出现新的一些名词，节点啊，容器啊啥的。

当然，这些东西对于一些有大数据经验的人来说，很简单，也很正确。

但是对于一些像我一样，刚刚准备学习大数据的人来说，只有三个字：什么鬼。

一开始碰到这句话虽然不是很理解，但是也不会去在意。有个差不多的感觉。没有去深究。

现在，假期最后一天的下午，有个充足的时间，让我去真正理解一下这句话。

其实这些东西，用大白话说完之后就很简单了。

首先，我们说集群。看一下下面这个比喻：

一只哈士奇拉不动雪橇，那就再来一条，如果你太重了，那就再来一条。

直到能拉动你，集群就是这个思想，很简单。集群里面的一个节点就是一只哈士奇。

集群一开始是干啥的呢，存数据的。

就是HDFS。就是存数据的。

但是集群光光用来存数据还不行。那每台节点只要硬盘就行了。但实际上，每台节点都是有CPU，有内存的。

所有肯定不是单单用来存数据的，当然了这是后话，一开始创造这个集群的人是咋想，咋设计的，他肯定是两个方便都考虑过。

如果只用来存，那这么多数据如果要计算的话，还得从各个只能存的节点上把数据取出来，传输到可以计算的节点上。

（计算的逻辑就是我们写的程序）这是非常消耗机器性能的，带宽，时间等等。传输中还有可能丢失数据。因为既然在集群里面，那肯定是非常大的数据量。所有从时间、可靠性上都不能这么干。这么干其实就是移动数据。

所有我们给每个节点装上CPU，内存。然后把计算的逻辑（就是我们写的程序）下发到各个节点上，让每个节点自己进行计算，这就是移动计算。有人说，你装CPU，内存不要钱啊。当然要钱啊，但是很便宜啊，我们集群的思想就是大量性能平平的机器取代单个的超级计算机。所以集群的机器都是很便宜的。还有人说，你把程序传给节点不也消耗时间，消耗带宽吗？

那也划得来，一个程序才多大，几KB,几MB，几百MB不得了了，又不是去开发QQ，去开发windows操作系统，肯定比TB、PB级别你要处理的数据小的多吧。

综上所述，集群的创造者给每个节点加了CPU，让每个节点都有运算的能力，因为移动计算要比移动数据便宜。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69904754/viewspace-2643235/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/69904754/viewspace-2643235/

大数据里面说的“移动计算比移动数据划算”究竟是什么意思相关推荐

移动计算比移动数据更核算
目录一. 本文核心观点二. 课后思考及问题问题 1. 什么是大数据?"大"是多大? 2. 为什么会出现大数据? 3. 处理大数据的老思路是啥? 4. 处理大数据的新思路是啥? ...
2021年大数据ELK（二十七）：数据可视化（Visualize）
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录数据可视化(Visualize) 一.数据可视化的类型二.以饼图展示404与 ...
大数据环境下该如何优雅地设计数据分层
最近出现了好几次同样的对话场景: 问:你是做什么的? 答:最近在搞数据仓库. 问:哦,你是传统行业的吧,我是搞大数据的. 答:-- 发个牢骚,搞大数据的也得建设数据仓库吧.而且不管是传统行业还是现在的 ...
吴恩达：告别大数据，AI需要高质量小数据！
来源:AI科技评论本文约5000字,建议阅读10分钟本文向大家谈下吴恩达对基础模型.大数据.小数据以及数据工程的一些感悟. 吴恩达是人工智能(AI)和机器学习领域国际最权威的学者之一,最近一年里, ...
强者愈强！疫情拉大“数据资产”贫富差距，顶级公司数据建设靠什么
5月12日,谷歌子公司Waymo宣布获得7.5亿美元的额外投资,将无人驾驶汽车商业化.两个月内,Waymo的筹款额已经达到了30亿美元. 阿里云计算收入同比增长58%,新零售平台在疫情影响下不减反增. ...
被神话的大数据——从大数据（big data）到深度数据（deep data）思维转变
2019独角兽企业重金招聘Python工程师标准>>> 自从阿法狗战胜人类顶级棋手之后,深度学习.人工智能变得再一次火热起来.有些人认为,深度学习的再一次兴起是源于硬件的提升.数据量 ...
api文档数据量太大崩溃_比较最好的免费金融市场数据API
如果您要分析金融市场数据(从股票市场到加密货币,作为数据科学家,交易商或投资者),请从此处开始. > Photo by Chris Liverani on Unsplash 在我们的世界中,几乎 ...
python能处理多大的数据-使用Python Pandas处理亿级数据
在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章<别老扯什么Hadoop了,你的数据根本不够大>指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择. ...
阿里云发布大数据产品ODPS 6小时处理100PB数据
阿里云发布大数据产品ODPS 6小时处理100PB数据阿里云发布ODPS 可分析PB级海量数据新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公 ...

大数据里面说的“移动计算比移动数据划算”究竟是什么意思

大数据里面说的“移动计算比移动数据划算”究竟是什么意思相关推荐

最新文章

热门文章