移动数据和移动计算(本地计算)的区别

在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。

在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。这样做的效率很低，特别是大数据中的数据量是很大的，至少都是GB以上，更大的是TB、PB甚至更大，而且磁盘I/O、网络I/O的效率是很低的，这样处理起来就需要很长的时间，远远不能满足我们的要求。而移动计算就出现了。

移动计算，也叫做本地计算，是数据就存放在节点上不再变动，而是将处理逻辑程序传输到各个数据节点上。由于处理程序的大小肯定不会特别的大，这样就可以实现很快将程序传输到存放数据的各个节点上去，然后本地执行处理数据，效率高。现在的大数据处理技术都是采用这种方式。

移动数据和移动计算(本地计算)的区别相关推荐

asp.net采用OLEDB方式导入Excel数据时提示:未在本地计算机上注册Microsoft.Jet.OLEDB.4.0 提供程序...
笔者在项目中做做了一个从Excel表格中导入数据的模块.大体上asp.net项目中导入Excel大体分成三类: 1)采用c#内置方案System.Data.OleDb(限制较小, 通用) 2)采用Ex ...
[Redux/Mobx] redux的数据存储和本地储存有什么区别？
[Redux/Mobx] redux的数据存储和本地储存有什么区别? Redux存储的数据本质上都是JS变量,都是在内存中的,页面刷新就会消失本质存储是像localStorage Cookie In ...
将excel数据导入到SQL server数据库，SQL server引入导入excel报表，如何解决“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”问题
目录版本: 文章主要内容: 未在本地计算机上注册"Microsoft.ACE.OLEDB.12.0"提供程序新版本不同的设置的地方: 版本: SQL server2018.ex ...
导入表格excel的方法+sqlsrver数据导入(.xlsx)：未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序
sqlsrver数据导入(.xlsx):未在本地计算机上注册"Microsoft.ACE.OLEDB.12.0"提供程序解决方法弹窗提示下面错误解决方法:下载AccessDa ...
Excel导入数据，未在本地计算机上注册“Microsoft.Jet.OLEDB.4.0”提供程序
Excel导入数据,未在本地计算机上注册"Microsoft.Jet.OLEDB.4.0"提供程序: .NET在导入Excel时,使用了一个Microsoft.Jet.OLEDB. ...
一文读懂什么是云服务器，和本地服务器的区别，云服务的用途，华为云服务器的获取
[系列专栏]:博主结合工作实践输出的,解决实际问题的专栏,朋友们看过来! <QT开发实战> <嵌入式通用开发实战> <从0到1学习嵌入式Linux开发> <A ...
阿里云云原生数据湖体系全解读——数据湖云原生计算引擎
云原生背景介绍与思考图是基于 ECS 底座的 EMR 架构, 这是一套非常完整的开源大数据生态, 也是近 10 年来每个数字化企业必不可少的开源大数据解决方案. 主要分为以下几层: ECS 物理资源 ...
响应式分布式区别_边缘计算的七种定义，边缘计算与云计算、雾计算的区别
一.概述边缘计算是一个分布式计算的范式,正如云计算也是一个分布式计算的范式. 由于行业.技术背景等不同,边缘计算在不同人眼里是有一定差异的.我们先来看看不同专家是如何定义边缘的,然后介绍边缘计算处理 ...
移动数据不如移动计算?
移动计算就是把计算任务下发到数据所在的节点进行处理. 移动数据就是将数据移动到计算任务的节点,这样将损耗大量网络开销,导致流量激增,处理效率慢. --------------------- ----- ...
数据湖：流计算处理框架Flink概述
系列专题:数据湖系列文章大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapReduce.Hive等大数据技术.实时计算也被称作流计算,代表是Storm. ...

移动数据和移动计算(本地计算)的区别

移动数据和移动计算(本地计算)的区别相关推荐

最新文章

热门文章