如何理解移动数据和移动计算

　　说白了平时我们的Windows下跑的程序一般来说都是移动数据，即这个程序如果要完成计算任务需要的那些文件就去对应的目录找，或者这些文件要从别的地方拷贝都本台机器上，这样就会导致大量时间花在数据的移动上。而移动计算呢，就是讲应用程序放在对应的文件夹或者机器上，“就地取材”就可以完成计算这个任务，最后只需要把相较于要处理的大文件来说很小的一个结果文件输出即可。而在大数据时代，常常会听到这样一句话：计算向数据移动。就是说的这个道理，而不是一般的数据向计算移动！

　　打个比方，身为发达国家的中国不会把落后国家美国的废弃钢铁直接通过水运运回国内生产加工制作大飞机，而是把飞机制造厂搬到美国去，在当地生产制造好一架架可以飞的飞机之后，再飞回国内投入使用。这里的飞机制造厂就是上面的程序，而钢材等制作飞机的材料就是数据，而水运的方式就是数据移动。可见数据移动有多笨重！！！！　　　　　　----开个玩笑，别被查水表就行！

在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。这样做的效率很低，特别是大数据中的数据量是很大的，至少都是GB以上，更大的是TB、PB甚至更大，而且磁盘I/O、网络I/O的效率是很低的，这样处理起来就需要很长的时间，远远不能满足我们的要求。而移动计算就出现了。

移动计算，也叫做本地计算，是数据就存放在节点上不再变动，而是将处理逻辑程序传输到各个数据节点上。由于处理程序的大小肯定不会特别的大，这样就可以实现很快将程序传输到存放数据的各个节点上去，然后本地执行处理数据，效率高。现在的大数据处理技术都是采用这种方式。

转载于:https://www.cnblogs.com/blog-of-zxf/p/10827941.html

如何理解移动数据和移动计算相关推荐

谈谈对 Canal（增量数据订阅与消费）的理解--大数据平台技术栈系列(3)
之前说了,大数据平台技术栈 (可点击查看),今天就来说说其中的Cannal 来源:朱小厮, blog.csdn.net/u013256816/article/details/52475190 概述 c ...
《深入理解大数据：大数据处理与编程实践》一一3.3　HDFS文件存储组织与读写...
本节书摘来自华章计算机<深入理解大数据:大数据处理与编程实践>一书中的第3章,第3.3节,作者主编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区&quo ...
《大数据导论》一第1章理解大数据
本节书摘来自华章出版社<大数据导论>一书中的第1章,第1.1节,作者托马斯·埃尔(Thomas Erl),瓦吉德·哈塔克(Wajid Khattak),保罗·布勒(Paul Buhler) ...
红黑树在java中的作用_带你真正理解Java数据结构中的红黑树
红黑树是平衡的二叉树,它不是一个完美的平衡二叉树,但是在动态插入过程中平衡二叉搜索树的代价相对较高,所以红黑树就此出现,下面就让爱站技术频道小编带你一起进入下文了解一下吧! 一.红黑树所处数据结构的位 ...
《深入理解大数据：大数据处理与编程实践》一一1.2　大数据处理技术简介
本节书摘来自华章计算机<深入理解大数据:大数据处理与编程实践>一书中的第1章,第1.2节,作者主编:黄宜华(南京大学)副主编:苗凯翔(英特尔公司),更多章节内容可以访问云栖社区&quo ...
通俗理解大数据及其应用价值
大数据概述在大数据这个概念兴起之前,信息系统存储数据的方法主要是我们熟知的关系型数据库,关系型数据库,关系型模型之父 Edgar F. Codd,在 1970 年 Communications of ...
移动数据不如移动计算?
移动计算就是把计算任务下发到数据所在的节点进行处理. 移动数据就是将数据移动到计算任务的节点,这样将损耗大量网络开销,导致流量激增,处理效率慢. --------------------- ----- ...
技术报告 | 罗汉堂：理解大数据：数字时代的数据和隐私2021.pdf（附下载链接）
各位工程师与技术人大家好,今天给大家分享一份与数据隐私相关的报告--<理解大数据:数字时代的数据和隐私2021>,由罗汉堂发布. 本报告总计77页,本文篇幅所限仅展示10页.报告pdf源文 ...
想深入理解大数据技术有哪些书籍值得学习
想要学好大数据开发技术,除了必要的学习路线和学习视频教程之外,辅助我们深入学习理解的还有书籍.想深入理解大数据技术,有哪些书籍值得学习?下面千锋老师给大家推荐一些学习大数据的书籍,希望能对大家的学习带 ...
【业务理解】数据指标
转载自:理解业务数据指标作者:lala喵 https://www.zhihu.com/people/lillian-27-74 一.理解数据第1步,要先弄清楚数据集里每一列的含义是什么.比如拿到一 ...

如何理解移动数据和移动计算

如何理解移动数据和移动计算相关推荐

最新文章

热门文章