Hadoop设备实际上属于有待编排的超级计算机
IBM公司认为Hadoop及Apache Spark等配置方案在本质上其实属于超级计算机,而秉持着这一思路,蓝色巨人开始调整自家超级计算机管理代码以处理x86集群之上的各类应用。
根据IBM公司软件定义基础设施副总裁Bernie Sprang的解释,分布于集群上的应用需要跨越各计算与存储资源池进行工作负载优化,而提供相关模板不仅能够简化部署过程,同时也能够摆脱对专有硬件的依赖。另外,Sprang强调称,企业客户中存在“集群蠕动”现象,即组织内共同建立计算集群并以共享而非独占方式使用。
蓝色巨人认为,工作负载部署与调度工具能够帮助企业客户有效降低采购及运维的集群数量,且保证数据不会耗尽现有处理资源。
而在新的IBM“Spectrum”工具当中,包含有“Conductor”产品作为资源共享工具,能够对集群化应用进行“模板化”调整。另外“Spectrum LSF”工具则负责工作负载调度。IBM公司还推出了Spectrum Storage,这套原本名为GPFS的文件系统能够支持大规模工作负载。
蓝色巨人将上述工具共同打包在软件定义套件当中,但并非面向主流工作负载。在IBM看来,此套件更适合用于云或者混合云分析方案,因为其能够轻松跨越本地与公有云环境。
Sprang希望将Spectrum套件定义为类似于虚拟机管理程序的方案,因为其同样位于服务器与工作负载之间。但二者的共通之处也仅此而已了:Spectrum主要面向集群化应用,而蓝色巨人希望借此将其高端技术成果引入目前的超大规模工作负载当中。
原文发布时间为:2016年6月12日
本文作者:毕波
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
Hadoop设备实际上属于有待编排的超级计算机相关推荐
- Linux设备驱动之I/O端口与I/O内存
一.统一编址与独立编址 该部分来自于:http://blog.chinaunix.net/space.php?uid=21347954&do=blog&id=443670,感谢maso ...
- linux端口零内存拷贝,Linux设备驱动之I/O端口与I/O内存
一.统一编址与独立编址 该部分来自于:http://blog.chinaunix.net/space.php?uid=21347954&do=blog&id=443670,感谢maso ...
- 【转】Linux设备驱动之I/O端口与I/O内存
原文网址:http://www.cnblogs.com/geneil/archive/2011/12/08/2281367.html 一.统一编址与独立编址 该部分来自于:http://blog.ch ...
- 网络转型中的设备硬件形态选择初探
引言 江湖,武侠门派众多,武功众多,不一样的武功,有着不同的境界,同一种武功,随习武者悟性与天资的不同,武功境界也是参差不齐.从讲究招式,中规中距,到旁门左道,剑走偏锋:从天下之术,皆为我用,到盖世神 ...
- 从Hadoop到Spark和Flink,大数据处理框架十年激荡发展史
当前这个数据时代,各领域各业务场景时时刻刻都有大量的数据产生,如何理解大数据,对这些数据进行有效的处理成为很多企业和研究机构所面临的问题.本文将从大数据的基础特性开始,进而解释分而治之的处理思想,最后 ...
- 从Hadoop到Spark、Flink,大数据处理框架十年激荡发展史
abstract: 当前这个数据时代,各领域各业务场景时时刻刻都有大量的数据产生,如何理解大数据,对这些数据进行有效的处理成为很多企业和研究机构所面临的问题.本文将从大数据的基础特性开始,进而解释分而 ...
- 从Hadoop到Spark、Flink,大数据处理框架十年激荡发展史!
当前这个数据时代,各领域各业务场景时时刻刻都有大量的数据产生,如何理解大数据,对这些数据进行有效的处理成为很多企业和研究机构所面临的问题.本文将从大数据的基础特性开始,进而解释分而治之的处理思想,最后 ...
- HADOOP安装指南-Ubuntu15.10和hadoop2.7.2
Ubuntu15.10中安装hadoop2.7.2安装手册 太初 目录 1. Hadoop单点模式... 2 1.1 安装步骤... 2 0.环境和版本... 2 1.在ubu ...
- Hadoop安装及遇到问题解决——1.安装
本人的安装时完全参考林子雨老师的教程,转载自厦门大学数据库实验室 / 给力星 一.软件选择 Hadoop是基于Java语言开发的,具有很好跨平台的特性.Hadoop的所要求系统环境适用于Windows ...
- 可穿戴医疗设备火爆背后的困境
目前在电商平台搜索可穿戴手表.手环等可穿戴产品,品牌不下百种.市场调研机构IDC发布的最新报告显示,今年第一季度全球可穿戴设备发货量达到1140万部,同比增长200%,连续第八个季度实现增长.但是目前 ...
最新文章
- python数据去重的函数_python去重函数是什么
- VTK:图片之MarkKeypoints
- 雷林鹏分享:Yii(yiiframework)框架(二):建立第一个Yii应用
- Spring 4 官方文档学习(十)数据访问之JDBC
- 逆元java_逆元 - 阿聊 - 博客园
- 深度学习数据标注工具(转)
- wget 和 curl 区别
- Linux 查看flume进程,flume分布式日志收集测试
- Java 性能调优总结
- LeetCode 845——数组中的最长山脉
- tensorflow中squeeze与expand_dims
- 通过js实现单击显示隐藏图片
- 关于VLOOUP函数与index match函数
- html 中div的下划线,div css布局命名时尽量避免下划线
- python版钉钉回调
- 长春工业大学计算机研究生专业课,长春工业大学(专业学位)计算机技术研究生考试科目和考研参考书目...
- Vulkan学习(十五): 总结
- DNS域名劫持的几种解决方法
- 小米Android 13 应用适配指南公告
- GWO(灰狼优化)算法MATLAB源码逐行中文注解()