作者:蒋步星

来源:数据蒋堂

本文共1100字,建议阅读8分钟。
本文将大数据特点总结成4个E,可作为选择大数据技术解决方案的参考。



大数据的4个V说法在业界已经尽人皆知,这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆,类似4个V,我们把这些特性总结成4个E,用户在选择大数据技术解决方案时可作为参考。
Easy 
大数据技术要足够简单易用
这个E很容易理解。

要进行大数据处理的场景很多,涉及工作人员也是各种各样的。如果技术的难度太大,那会导致只有少数人能应用,而且实施复杂度较高,这样大数据的应用就会大打折扣了。

大数据领域这种例子并不少,Hadoop刚出来时只有MapReduce,相对于完全用Java硬写,MapReduce已经简单了很多,所以会积累出一批拥趸。但MapReduce的难度仍然不小,所以逐步被后来封装出来的HIVE SQL替代。Spark上的Scala也风靡过一阵,但难度仍然不少,目前也逐步归于平静,更多的人还是愿意使用更简单的Spark SQL。

Elastic 

大数据技术要具有弹性扩展能力
这个E也容易理解。

很多情况下,大数据并不是一下子就很大,而是逐步变大的。即使已经较大的数据,也还会进一步变得更大。因此要求大数据处理技术有一定的弹性扩展能力就是很自然的事情,这一点一般都不会被大数据技术提供商忽略掉。

当然,任何技术都有局限性,面向一般规模和面向超大规模的技术相差是很大的,不大可能有一种技术能够有效适应数据规模从0到无穷大的各个阶段(所谓有效适应是在各个阶段该技术都能达到相当优良的性能,而不只是可以处理),用户在选择技术时还要对自己的数据规模变化范围有一个预估。
Embeddable 
大数据技术应可以被嵌入集成
这个E需要特别指出,常常不被重视。

大数据处理经常并不是一件独立的事情,它需要和具体的应用配合工作才能发挥其业务价值,这些处理常常在应用执行到某个环节时就需要进行,这样就要求相应的技术能够被方便地嵌入集成到应用程序中,随时随地被主程序调用。

特别地,大部分应用程序建立在J2EE架构上,因而对Java应用的可集成性就是个特别重要的指标。一般基于Java或SQL体系的大数据技术在集成方面都没太大问题,而其它技术体系的就难说了。而且,大多数大数据技术常常需要独立部署,即使其计算能力可以被集成,但必须依赖于外部的独立进程,不能被应用完全控制,有时会显得非常累赘。
Environment-friendly 
大数据技术对数据环境要求尽量低
这个E是很多大数据技术不具有但却很重要的。

目前的大数据技术,如Hadoop和MPP等,都要求先把数据放进该技术规定的某种存储体系中。这样当然有意义,数据事先组织之后会获得更高的性能。但是,经常的情况是,我们需要处理的大数据事先并不在这些存储体系中,而且把外部数据搬进这些存储体系本身也是一种大数据处理,这些场景下都无法利用这些大数据技术了。

更好的大数据技术应当能不挑数据源,随便什么来源的数据都可以处理,只是有可能因为数据源的限制而一定程度地降低性能,但并不要求必须先做好ETL才能处理。

其实最后那个特性用E并不是很贴切,但为了凑4个E就对付了。这个词本来是环保的意思,开放的大数据技术可以少复制一些数据,少部署一些硬件,省点电,也算环保吧。

专栏作者简介

润乾软件创始人、首席科学家

清华大学计算机硕士,中国大数据产业生态联盟专家委员,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016、2017年,荣获中国电子信息产业发展研究院评选的“中国软件和信息服务业十大领军人物”;2017年度中国数据大工匠、数据领域专业技术讲堂《数据蒋堂》创办者。

数据蒋堂

《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。

数据蒋堂第二年往期回顾:

数据蒋堂 | 莫非我就是被时代呼唤的数学人

数据蒋堂 | SQL是描述性语言?

数据蒋堂 | 存储和计算技术的选择

数据蒋堂 | 人工智能中的“人工”

数据蒋堂 | 中国报表漫谈

数据蒋堂 | 内存数据集产生的隐性成本

数据蒋堂 | 多维分析预汇总的功能盲区

数据蒋堂 | 多维分析预汇总的存储容量

数据蒋堂 | 多维分析预汇总的方案探讨

数据蒋堂 | 数据库的封闭性

数据蒋堂 | 内存数据集产生的隐性成本

数据蒋堂 | 前半有序的大数据排序

数据蒋堂 | “后半”有序的分组

数据蒋堂 | 时序数据从分表到分库

数据蒋堂 | BI系统的前置计算

数据蒋堂 | 性能优化是个手艺活

数据蒋堂 | 数据分布背后的逻辑

数据蒋堂 | 从一道招聘考题谈起

数据蒋堂 | 为什么我们需要C程序员

数据蒋堂 | 报表工具的SQL植入风险

数据蒋堂 | 内置的数据无法实现高性能

数据蒋堂 | 怎样生成有关联的测试数据

数据蒋堂 | 遍历复用

数据蒋堂 | 数据压缩手段

数据蒋堂 | 用HBase做高性能键值查询?

数据蒋堂 | 最简单的大数据性能估算方法

数据蒋堂 | 这个产品能支持多大数据量?

数据蒋堂 | 大清单报表应当怎么做?

数据蒋堂 | 大清单报表的打印?

编辑:黄继彦

数据蒋堂 | 大数据技术的4个E相关推荐

  1. 数据蒋堂 | 大数据计算语法的SQL化

    作者:蒋步星 来源:数据蒋堂 本文共1602字,建议阅读5分钟. 通过本文为大家解读为什么现在SQL变成了当前大数据计算语法的一个发展倾向. 回归SQL是当前大数据计算语法的一个发展倾向.在Hadoo ...

  2. 数据蒋堂 | 大数据集群该不该透明化?

    作者:蒋步星 来源:数据蒋堂 本文约1500字,建议阅读5分钟. 通过本文为大家解读大数据集群透明化的利弊! 这好像是个多余的问题,大部分大数据平台都把集群透明化作为一个基本目标在努力实现. 所谓集群 ...

  3. 数据蒋堂 | 大清单报表的打印?

    作者:蒋步星 来源:数据蒋堂 本文共900字,建议阅读5分钟. 报表打印也需要做一个缓存机制吗? 上一期文章<大清单报表应当怎么做?>中,我们谈了大清单报表的呈现方法,其实有时候这些报表还 ...

  4. 数据蒋堂 | 大清单报表应当怎么做?

    作者:蒋步星 来源:数据蒋堂 本文共1200字,建议阅读9分钟.在数据查询时,有时会碰到数据量很大的清单报表. 在数据查询时,有时会碰到数据量很大的清单报表.用户输入的查询条件很宽泛,可能会从数据库中 ...

  5. 数据蒋堂 | 倍增分段技术

    来源:数据蒋堂 作者:蒋步星 本文共1408字,建议阅读3分钟. 本文为大家带来一种新的数据列存分块方案-倍增分段技术. 区块分段方案能够满足我们设定的4个目标.不过,除了处理区块标记的麻烦外,这个办 ...

  6. 大数据入门-大数据技术概述(一)

    目录 大数据入门系列文章 1.大数据入门-大数据是什么 一.概念 二.技术详解 1.基础架构:Hadoop 2.分布式文件系统:HDFS 3.数据仓库:Hive 4.存储引擎:Kudu 5.分布式数据 ...

  7. ​数据整理——大数据治理的关键技术

    数据整理--大数据治理的关键技术 杜小勇1,2, 陈跃国1,2, 范举1,2, 卢卫1,2 1. 中国人民大学信息学院,北京 100872: 2. 数据工程与知识工程教育部重点实验室(中国人民大学), ...

  8. 大数据测评/大数据技术与应用 - 电子书下载(高清版PDF格式+EPUB格式)

    大数据测评_大数据技术与应用-蔡立志 在线阅读                   百度网盘下载(guj0) 书名:大数据测评/大数据技术与应用 作者:蔡立志 格式:EPUB, HTMLZ, PDF ...

  9. 数据蒋堂 | 时序数据从分表到分库

    作者:蒋步星 来源:数据蒋堂 本文共5500字,建议阅读10+分钟. 一个物理表的数据量太大时,就会影响查询和计算的性能. 这里的时序数据泛指一切随时间推移而不断增长的数据,比如通话记录.银行交易记录 ...

最新文章

  1. RHEL5.4配置apxs扩展工具
  2. Linux进程-命令行参数和环境列表
  3. 004_Jsp九大内置对象
  4. 【图像分割应用】医学图像分割(二)——心脏分割
  5. android+5.0+ble,android5.0(Lollipop) BLE Peripheral牛刀小试(示例代码)
  6. HTTP常用头部信息
  7. 有奖调研 | 致云通信短信服务用户的一封信
  8. python删除指定天数前的文件_python 删除指定时间间隔之前的文件实例
  9. Python--协程(gevent模块)
  10. c++ stl 获取最小值_如何在C ++ STL中找到向量的最小/最小元素?
  11. SetWindowLong代码设置窗体borderStyle风格 TOOLWINDOW
  12. 【限时免费】真实数据操练,经典算法分析,实战NLP领域,只等你来!
  13. eoLinker-API_Shop_知识类API调用的代码示例合集:驾考题库、ISBN书号查询、万年历查询等...
  14. 等值线/面生成一站式封装
  15. 2018 PKU_WC 长沙游 《我到长沙来看雪》
  16. 删除的win10应用商店怎么恢复
  17. excel查找出不来了_Excel查找全部,如何把查找出来内容全部复制?
  18. 《统计学习方法》——隐马尔可夫模型(上)
  19. MyBatis用接口的方式实现CRUD操作
  20. Windows系统迁移到深信服超融和平台

热门文章

  1. 一篇SSM框架整合友好的文章(二)
  2. 深度学习项目实战-关键点定位视频课程
  3. 爬虫入门到精通-HTTP协议的讲解
  4. linux iptables常用命令之配置生产环境iptables及优化
  5. 2015-2016-2 《Java程序设计》 学生博客及Git@OSC 链接
  6. MongoDB 索引
  7. Guid和Int还有Double、Date的ToString方法的常见格式
  8. python中导入的模块不能直接当方法用,需要采用模块.方法名或模块 as 别名,再别名.方法的形式
  9. spring使用AOP注解三步曲
  10. parser.add_argument 参数用法 包含metavar