数据蒋堂 | 大数据集群该不该透明化?
作者:蒋步星
来源:数据蒋堂
本文约1500字,建议阅读5分钟。
通过本文为大家解读大数据集群透明化的利弊!
这好像是个多余的问题,大部分大数据平台都把集群透明化作为一个基本目标在努力实现。
所谓集群透明化,是指把一个多台机器的集群模拟得像一个巨大的单机,只是系统管理层面知道体系是由很多单机集群而成,应用程序则应当尽量少地感受到集群的存在,在概念上可以把整个集群理解成一台机器,甚至在代码级都可能和单机运算兼容。
透明化主要有两个方面。一方面是数据存储,提供统一的集群文件系统或者数据库系统,应用程序不需要关心数据具体存放在哪里了,系统将自动寻找合适的节点,并提供一定的冗余容错机制;内存的透明化相对要困难一些,有时需要应用程序知道集群的存在。另一方面是任务分配,系统负责将大任务拆分成小任务并分配给各个节点机去执行,在有节点故障时能再将任务分配给其它节点;有时任务拆分比较困难,也需要程序员事先设计好拆分方案。
透明化显然有好处,可以降低理解难度,开发程序时和单机情况差不多,也能提高代码的兼容性。从这个意义上讲,只要能透明化就都应当去做,除非是实现难度太大(比如上面提到内存和任务拆分)的情况。
那么,为什么还要提出该不该透明化的问题呢?
因为,透明化难以获得最优的性能,而高性能对于大数据计算又是一个关键的目标。
高性能计算方案因运算目标和数据特征而异,并没有普适的优化方法。好算法需要特定的数据分布及任务分配方案,而使用系统自动的机制就很可能无法实现了。有些优化手段还是互相矛盾的,如果不做透明化则可以根据场景选用哪种。而实现透明化时,为了保证在任何情况都能正常工作,经常只能选择较保险的方案,常常这并不是性能最好的方案。
比如在做JOIN运算时,我们可以从业务上区分维表和事实表,也事先知道维表的容量,如果维表数据量较小,则可以将维表主动存储到所有节点中甚至读入内存,而只把事实表分段存储到节点中,并按此分布设计更优的算法能。而透明化方案不能做这些假定,要处理一般情况,就不能区分维表和事实表,也不能假定维表足够小。有些计算平台能够临时测定数据特征以采用更优的计算 方案,针对JOIN这种被研究得很透的运算有可能做到,但更复杂的情况就不一定了。
另外,透明化体系一般都会有一个较复杂的框架来控制数据分布及实现任务调度,这个事并不简单,本身也会消耗很多资源,而如果不搞透明化或透明化程度较弱时,则可以把这些资源本用到计算上。比如容错机制,节点机可能有故障,集群体系要能在故障机数量不多时保证计算仍然可以进行下去,这需要重新设计数据的冗余方案,要求高时还要及时保存中间结果。
一定程度地牺牲透明化,可以换来更高的性能。数据存储可以直接使用节点机的文件系统,程序员可以根据运算的特征以及节点的能力来决定数据的分布以及冗余方案,对应用层并不提供一个统一的网络文件系统。任务分配也由程序员自行处理,也是根据运算特殊及数据分布以及节点能力来安排任务,养活框架消耗,将尽量多的资源都用到计算任务本身上。
当然,牺牲透明化会带来程序的开发复杂度提高,与单机情况的兼容性变差,这也是需要权衡的问题。透明化与否,并不是非黑即白的选择。完全透明化,可能得不到最优的性能;彻底不透明,又会导致开发成本又过高。具体要透明到什么程度,根据实际场来选择。
一般来讲,规模较大的集群要做好透明化,小规模集群则可以实施个性化管理。
大集群的节点多,如果不采用透明化方案,每个节点都个性化管理,那复杂度会提升太多,虽然可能获得一些性能提升,但带来的麻烦度很可能更高。而小集群则实施每个节点的个性化管理是管得过来的,节点存储的数据各有不同。对于容错,大集群在很短的时间段内就可能发生故障节点,一定要有较强的自动容错能力,这时花在框架上的开销是必须的;而小集群则没有这个问题,几个节点的集群保证连续正常工作许多天并不是个小概率事件,就没必要在框架上消耗太多资源。
专栏作者简介
润乾软件创始人、首席科学家
清华大学计算机硕士,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016年,荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业十大领军人物”;2017年, 自主创新研发新一代的数据仓库、云数据库等产品即将面世。
数据蒋堂
《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。
往期回顾:
数据蒋堂 | JOIN延伸 - 维度概念
数据蒋堂 | JOIN提速 - 有序归并
数据蒋堂 | JOIN提速 - 外键指针的衍生
数据蒋堂 | JOIN提速 - 外键指针化
数据蒋堂 | JOIN简化 - 意义总结
数据蒋堂 | JOIN简化-消除关联
数据蒋堂 | JOIN简化 - 维度对齐
数据蒋堂 | JOIN运算剖析
数据蒋堂 | 迭代聚合语法
数据蒋堂 | 非常规聚合
数据蒋堂 | 再谈有序分组
数据蒋堂 | 有序分组
数据蒋堂 | 非等值分组
数据蒋堂 | 还原分组运算的本意
数据蒋堂 | 有序遍历语法
数据蒋堂 | 常规遍历语法
数据蒋堂 | 从SQL语法看离散性
数据蒋堂 | 从SQL语法看集合化
数据蒋堂 | SQL用作大数据计算语法好吗?
数据蒋堂 | SQL的困难源于关系代数
数据蒋堂 | SQL像英语是个善意的错误
数据蒋堂 | 开放的计算能力为数据库瘦身
数据蒋堂 | 计算封闭性导致臃肿的数据库
数据蒋堂 | 怎样看待存储过程的移植困难
数据蒋堂 | 存储过程的利之弊
数据蒋堂 | 不要对自助BI期望过高
数据蒋堂 | 报表的数据计算层
数据蒋堂 | 报表应用的三层结构
数据蒋堂 | 列式存储的另一面
数据蒋堂 | 硬盘的性能特征
数据蒋堂 | 我们需要怎样的OLAP?
数据蒋堂 | 1T数据到底有多大?
数据蒋堂 | 索引的本质是排序
数据蒋堂 | 功夫都在报表外--漫谈报表性能优化
数据蒋堂 | 非结构化数据分析是忽悠?
数据蒋堂 | 多维分析的后台性能优化手段
数据蒋堂 | JOIN延伸 - 维度查询语法
数据蒋堂 | 文件的性能分析
数据蒋堂 | RDB与NoSQL的访问性能
数据蒋堂 | 报表开发的现状
数据蒋堂 | 谈谈临时性计算
数据蒋堂 | 大数据计算语法的SQL化
校对:林亦霖
为保证发文质量、树立口碑,数据派现设立“错别字基金”,鼓励读者积极纠错。
若您在阅读文章过程中发现任何错误,请在文末留言,或到后台反馈,经小编确认后,数据派将向检举读者发8.8元红包。
同一位读者指出同一篇文章多处错误,奖金不变。不同读者指出同一处错误,奖励第一位读者。
感谢一直以来您的关注和支持,希望您能够监督数据派产出更加高质的内容。
数据蒋堂 | 大数据集群该不该透明化?相关推荐
- 【数据蒋堂】第46期:大数据集群该不该透明化?
这好像是个多余的问题,大部分大数据平台都把集群透明化作为一个基本目标在努力实现. 所谓集群透明化,是指把一个多台机器的集群模拟得像一个巨大的单机,只是系统管理层面知道体系是由很多单机集群而成,应用程序 ...
- 大数据集群被窃取数据怎么办?透明加密可以一试
摘要:传统大数据集群中,用户数据明文保存在HDFS中,集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据. 本文分享自华为云社区<FusionInsi ...
- 一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解 "如果你是一个经验丰富的运维开发人员,那么你一定知道ganglia.nagios.zabbix.elastics ...
- 大数据集群机房搬迁数据迁移
[一.背景] 按照中心总体计划,目前部署在生产区的运营大数据集群需要搬迁至万国机房. 本次采用的搬迁的方案是通过万国机房的72台物理主机上新建运营大数据集群,老集群应用数据同步至新集群的方式,之后应用 ...
- 数据蒋堂 | 大数据技术的4个E
作者:蒋步星 来源:数据蒋堂 本文共1100字,建议阅读8分钟. 本文将大数据特点总结成4个E,可作为选择大数据技术解决方案的参考. 大数据的4个V说法在业界已经尽人皆知,这是指的大数据本身的特征.现 ...
- 数据蒋堂 | 大清单报表的打印?
作者:蒋步星 来源:数据蒋堂 本文共900字,建议阅读5分钟. 报表打印也需要做一个缓存机制吗? 上一期文章<大清单报表应当怎么做?>中,我们谈了大清单报表的呈现方法,其实有时候这些报表还 ...
- 数据蒋堂 | 内存数据集产生的隐性成本
作者:蒋步星 来源:数据蒋堂 本文共1500字,建议阅读7分钟. 本文带你了解内存数据集的工作原理. 当我们要对数据做一些非常规的复杂运算时,通常要将数据装入内存.现在也有不少程序设计语言提供了内存数 ...
- centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
2019独角兽企业重金招聘Python工程师标准>>> 转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/ 前言 本文是 ...
- 全网最详细的大数据集群环境下如何正确安装并配置多个不同版本的Cloudera Hue(图文详解)...
不多说,直接上干货! 为什么要写这么一篇博文呢? 是因为啊,对于Hue不同版本之间,其实,差异还是相对来说有点大的,具体,大家在使用的时候亲身体会就知道了,比如一些提示和界面. 全网最详细的大数据集群 ...
最新文章
- Rocksdb 的一些参数调优策略
- Windows 7运行命令大全
- 胖子哥的大数据之路(10)- 基于Hive构建数据仓库实例
- 计算机组成原理——数据表示、运算与校验1
- 用vue-cli3从0打造一个完整的UI库
- 除了分析引擎 2.0,神策再发一波儿新功能!
- Redis 主从复制(replication)
- python unpack infinity_fit_转换出错:输入包含NaN、infinity或对dtype(“float64”)太大的值...
- 2015 百度一面 总结记录
- linux mint 安装内核,如何在Ubuntu, Linux Mint中安装Linux Kernel 4.18
- YUV格式学习:Y转换成RGB24
- python歌星大赛评分_2018年机器阅读理解技术竞赛模型,BLEU-4评分排名第6, ROUGE-L评分排名第14...
- IOS 杂笔-14(被人遗忘的owner)
- 非常值得收藏的15个 Google 高级搜索技巧
- Hadoop系列之MapReduce 数据本地化 (29)
- 训练好的神经网络 如何预测_普通人如何拥有好声音 精简版入门训练方法总结...
- Python使用Pillow库进行图像
- ACS 2017中国汽车CIO峰会10月强势登陆上海
- Android开发必会技术!Flutter中网络图片加载和缓存源码分析,完整PDF
- eclipse各版本介绍
热门文章
- 01月26日【Python3 基础知识】
- Powercli 批量获取vmhost 时间
- 多线程EXecutor 柜架示例
- s1考试 图书管理系统 结构体版
- 如何绕过chrome的弹窗拦截机制
- Shell字符串截取——获取oracle group名字
- Cocos2d之Texture2D类详解之将文件加载成Texture2D对象
- SQL server中SET ANSI_PADDING对char、varchar、nvarchar的影响
- css animation动画完成后隐藏_如何使用CSS实现旋转地球动画效果
- 服务器系统日志4625,win2008 r2 成千上万的“审核失败”日志 事件ID 4625