ZD至顶网服务器频道 03月23日 新闻消息:在3月19日举办的China Hadoop Summit(中国Hadoop技术峰会)上,中国Hadoop大数据厂商红象云腾与OpenPOWER基金会共同发布红象云腾的新一代大数据产品,帮助企业高速处理PB规模数据。

此次发布的两款新产品中,“红象数据高铁-CRH4”的RedHadoop Enterprise CRH4 For POWER版软件,是全球第一个支持OpenPOWER服务器的Hadoop商业版本。同时发布的RedHadoop Enterprise CRH4 For POWER EC版软件, 支持Hadoop HDFS Erasure Code CAPI FPGA加速方案,也是全球第一个支持Erasure code(可擦除码)在FPGA/CAPI上实现的商业发行版Hadoop方案。

用“高铁”比喻Hadoop,源自二者动力原理的相似:高铁的效率比传统火车快,是因为每节车厢都有动力,而不仅仅是火车头有动力。基于分布式技术的Hadoop的原理即把数据分块,通过并行运算来提高数据检索、查询、分析等操作的效率,每台机器都有自己的动力(计算力)与存储,从而提供充沛的动力和功能模块来提升客户的大数据应用环境。

北京红象云腾系统技术有限公司总经理童小军演讲

可以看出这两款产品都是为OpenPOWER服务器定制的。从OpenPOWER生态的角度看,两款大数据产品的发布也进一步完善了OpenPOWER的生态链。据北京红象云腾系统技术有限公司总经理童小军介绍,基于OpenPOWER服务器的开发的RedHadoop的性能大幅提高。标准的Hadoop测试表明:在OpenPOWER服务器上的Redhadoop测试值,是在x86服务器上测试值的三倍。同时,RedHadoop借助FPGA/CAPI来实现Erasure Code加速算法,将原本社区版的三份副本的存储量缩小到原来的一半,大大降低磁盘使用,节省一半磁盘成本,并通过红象DataBank产品实现界面化操作数据,提高大数据工具使用效率。

据悉,作为Hadoop社区经典难题,Erasure Code (可擦除码)是由Xilinx、IBM中国研究院和红象云腾、恒扬科技、中太、烽火科技等OpenPOWER成员及合作伙伴联合研发的。

“大家都在盼望Erasure code, 这个功能在Hadoop 1.0年代存在,但是到了Hadoop 2.0年代就被取消了。这其实是非常好的功能,可以大大节省硬盘存储。”中国Hadoop技术峰会主席何建军评价说,“随着我们去年开始倡导第二代分布式计算架构,今天的Erasure code第一次真正意义上实现了分布式计算,把CPU不适用的算法挪到了FPGA/CAPI上,而FPGA/CAPI上来计算擦除码是传统软件算法的300倍。我很高兴,今天我们的Hadoop爱好者们可以享受到更好的技术。”

据悉,这一系列产品具备分布式存储和计算功能,支持PB级海量数据存储和批处理、流处理、内存计算、多维查询、搜索引擎等,支持在其前往数据中进行分钟级统计和秒级延迟检索,在在线(Online)、近线(NearLine)、离线(OffLine)三大应用场景做场景优化,为用户提供全场景的大数据平台解决方案。与此配套的Redhadoop Databank则成功提升大数据人机交互,通过可视化数据展现和多维度查询,让Hadoop使用更安全,更简单,更快速。

并且这些大数据产品已在联想集团、NTT-DOCOMO、中国航天等企业顺利上线,管理最大集群超过100台,数据达到 4.8PB规模。其中,联想集团通过红象Hadoop和奥飞ETL,在三个月内完成完成了数据仓库、实时计算、多维查询等应用,出数效率提高到分钟级别。

背景知识

红象云腾公司于2016年初加入OpenPOWER基金会,并提出 +Hadoop战略——将HADOOP技术融入到各种应用场景中,打造“芯片、操作系统、云计算、算法(深度学习)、应用、行业”+Hadoop等多个细分战略方向。

原文发布时间为:2016-03-23

本文作者:于泽

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

红象云腾发布新一代PB级高速大数据平台产品相关推荐

  1. PB级分布式大数据的处理和分析应用

    文章讲的是PB级分布式大数据的处理和分析应用,对于大数据,串行的处理方式难以满足人们的要求,现在主要采用并行计算方式.现有的并行计算可以分为两种: ·细粒度的并行计算.这里细粒度主要是指指令或进程级别 ...

  2. 从0到1,云服务助力全民直播快速构建大数据平台

    随着业务的快速发展,全民直播如何应对来自技术与运营方面的挑战?6月7日,在上海世博中心,2018云栖大会·上海峰会阿里云支持与服务专场上,全民直播大数据架构师朱益发表主题演讲,详细介绍了从0到1,云服 ...

  3. clickhouse hbase性能对比_QQ音乐PB级ClickHouse实时数据平台架构演进之路

    OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过QQ音乐与腾 ...

  4. QQ音乐PB级ClickHouse实时数据平台架构演进之路

    导语 | OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值.本文基于QQ音乐海量大数据实时分析场景,通过Q ...

  5. 京东EB级全域大数据平台的演进与治理历程

    讲师介绍 包勇军,目前在京东任职数据基础平台部.广告质量部.推荐研发部负责人,同时担任京东集团技术委员会委员.京东零售数据算法委员会会长.负责大数据平台基础架构的建设和产品开发.AI算法平台建设.AI ...

  6. 云从科技在渝布局人工智能大数据平台

    近日,重庆日报记者从两江新区获悉,重庆中科云从科技有限公司拟投资1.2亿元,在渝布局国内顶尖人工智能大数据平台,以重庆为基点,服务整个西部地区人工智能和大数据产业发展. 据介绍,该人工智能大数据平台已 ...

  7. 阿里云现代农业园区解决方案,智慧园区大数据、产品管理、物联网、企业管理平台解决方案

    阿里云智慧农业园区解决方案 阿里云云南一级经销商 云南天成科技 吴经理:13698746778 QQ:463592055 一.农业园区面临的问题 园区场景超级繁荣的背后:重复投资.无法扩展.无智能 超 ...

  8. 广东智慧高速大数据平台揭秘,值得学习!

    来源:中国交通报 近日印发的<数字交通"十四五"发展规划>,提出了"交通设施数字感知.信息网络广泛覆盖.运输服务便捷智能.行业治理在线协同.技术应用创新活跃. ...

  9. PB级(大数据)的来源

    KMGTPEZY: 1. 网页 2008 年,全球互联网的网页超过 1万亿(1012=(103)410^{12}=(10^3)^4,也即 k ⇒ m ⇒ g ⇒ t ⇒ p),按平均每个网页 10KB ...

最新文章

  1. 机器人替代研究员,工作007,完成688次实验,登上Nature封面
  2. nodejs发送数据到html显示_用php生成HTML文件的类
  3. 金蝶云如何html5登录,第三方系统单点登录到金蝶云指南V2
  4. SSH隧道 / SSH穿透
  5. windows下的MySql实现读写分离
  6. MOCTF-Web-文件包含
  7. 终端编译opengl程序编译运行_ubuntu编译opengl和demo之二(glfw版本)
  8. Python中带else子句的for循环执行过程
  9. python二进制反码例题_python中的进制转换和原码,反码,补码
  10. java遇到无穷大抛异常_Java中一个for语句导致无穷大死循环的例子
  11. lucene-SpanQuery跨度查询基础
  12. Android基于腾讯云的小直播开发步骤
  13. 8uftp更改上传的网页内容
  14. lightoj1234——调和级数+欧拉常数
  15. 用 Python 统计字数
  16. python降低图片分辨率_手把手:扫描图片又大又不清晰?这个Python小程序帮你搞定!...
  17. neo4j 图数据库初步调研 图数据库与关系型数据库差异-f
  18. linux下jdk安装步骤_jdk下载安装步骤
  19. 关于PDU电源插座,你了解多少?
  20. 净空法师:陈晓旭往生的教训(转载)

热门文章

  1. bzoj1190:[HNOI2007]梦幻岛宝珠
  2. 【洛谷P2680】运输计划
  3. Spring Boot 入门之缓存和 NoSQL 篇(四)
  4. 微信小程序把玩(二十六)navigator组件
  5. 快速删除数据库中所有表中的数据
  6. java 判断一个字符串是否由数字组成的_Java中怎样判断一个字符串是否是数字
  7. php图片视频,PHP中使用php5-ffmpeg撷取视频图片实例
  8. c语言关于链表选择题看不懂,有关链表基本操作三题
  9. 线程池中的线程复用原理
  10. Visual paradigm社区版下载及中文菜单的设置