PB级分布式大数据的处理和分析应用
·细粒度的并行计算。这里细粒度主要是指指令或进程级别,由于GPU比CPU拥有更强的并行处理能力,人们将一些任务交给GPU并行处理,一些GPU制造商也推出了方便程序员使用的编程模型,如NVIDIA推出的CUDA等。
·粗粒度的并行计算。这里粗粒度指的是任务级别,人们将工作分布到不同机器中执行,最近流行的网格计算、分布式计算都属于粗粒度级别。
由于现有GPU编程模型还未完善,开发人员需要考虑大量的并行细节且任务较重,因此未得到流行。而一些新推出的分布式编程模型以其简单、方便等特点受到开发人员的欢迎并变得炙手可热,这里我们主要讨论粗粒度的并行计算。
由于大数据都分布在集群中,因此对数据的处理和分析需要在集群中进行,但是在多台机器上对分布式数据进行分析会产生巨大的性能开销,即使采用千兆比特或万兆比特带宽的网络,随机读取速度和连续读取速度都会比内存慢几个数量级。但是,现在高速局域网技术使得网络读取速度比硬盘读取要快很多。因此,将数据存储在其他节点上比存储在硬盘上的性能要好,而且还可以在多个节点上并行处理数据集。
对大数据分布处理会带来一些问题,首先就是节点间通信对并行处理的代价,一些操作如搜索、计数、部分聚集、联合等可以在每个节点上独立执行。单个节点处理后的结果需要合并,因此节点间的通信是不可避免的,但是并不是所有的聚集操作都能分散成可以独立操作的子操作,如求得所有数据的中位数。不过,大部分重要的操作都有分布式算法来减少节点间的通信。
节点间负载不平衡也是出现的主要问题。理想情况下,每个节点的计算量是相同的,否则工作量最大的节点将决定整个任务的完成时间,这个时间往往比负载平衡情况下的时间要长。最坏的情况下,所有的工作都集中在某个机器上,无法体现出并行的优势。数据在节点间如何分布对负载平衡产生影响,例如,一个包含1000个传感器10年内的观测值的数据集,传感器每15秒收集一次数据,这样一个传感器10年内将产生两千多万个观测值。我们将数据根据传感器并按时间顺序分布到10个节点上,每个节点包含100个传感器的观测值,如果对某个传感器收集的数据进行操作,那么大部分节点将处于闲置状态。如果先按时间顺序对数据进行分布,那么根据时间的操作也会造成负载不平衡。
分布式系统的另一个问题就是可靠性。就像拥有四个引擎的飞机比拥有两个引擎的飞机更容易出现引擎故障一样,一个拥有10个节点的集群很容易出现节点故障。这可以通过在节点间复制数据来解决,对数据进行复制,既可以提高数据分析的效率,也可以通过冗余来应对节点故障。当然,数据集越大,对数据副本的管理和维护也越困难。
目前对大数据处理和分析的应用更多的是集中在数据仓库技术、预测分析、实时分析、商业智能、数据统计等方面。这些需求对企业有巨大的帮助。
将PB级的数据存储起来并不是一件困难的事情,但是如何进行高效的存储并不简单。首先要考虑的是,如何组织数据的结构使其能够更多地支持上层的软件,而不需要对数据进行转储和重新组织。当数据需要发生转换的时候避免因转储、抽取、整合等而带来的延迟。
有效的预测分析技术,尤其是实时分析对企业的决策有很大的帮助。例如,超市可以根据庞大的用户历史消费记录来预测某一用户下次购买商品的倾向,从而在结账的时候可以专门针对某一用户打印其关心的优惠券。足球队管理层可以根据用户的购票记录为其推荐更人性化的月票、季票等套票。
目前,像SAS、SPSS等传统数据分析软件因其数据处理能力受限于单机的计算能力,对大数据的处理显得力不从心。IBM Netezza等新兴的数据分析软件往往需要支付昂贵的许可费用,因此Hadoop,MapReduce,R等开源的大数据分析工具受到越来越多的关注和青睐。
相比于商业软件,开源软件完全免费且不需要支付昂贵的许可费用,另外在其背后还拥有庞大的开源团队的支持。但是能否完全跟得上市场的需求和发展速度是关键性的问题,毕竟这些软件不像商业软件那样有巨大的利益驱动推动它们的发展。
作者简介:陆嘉恒,《Hadoop实战》、《大数据挑战与NoSQL数据库技术》作者,中国人民大学副教授,新加坡国立大学博士,美国加利福尼亚大学尔湾分校(University of California,Irvine) 博士后。
作者: 陆嘉恒
来源:IT168
原文链接:PB级分布式大数据的处理和分析应用
PB级分布式大数据的处理和分析应用相关推荐
- 红象云腾发布新一代PB级高速大数据平台产品
ZD至顶网服务器频道 03月23日 新闻消息:在3月19日举办的China Hadoop Summit(中国Hadoop技术峰会)上,中国Hadoop大数据厂商红象云腾与OpenPOWER基金会共同发 ...
- PB级(大数据)的来源
KMGTPEZY: 1. 网页 2008 年,全球互联网的网页超过 1万亿(1012=(103)410^{12}=(10^3)^4,也即 k ⇒ m ⇒ g ⇒ t ⇒ p),按平均每个网页 10KB ...
- 华为云自研PB级分布式时序数据库揭秘第一期:初识GaussDB(for Influx)
本文分享自华为云社区<华为自研PB级分布式时序数据库揭秘第一期:初识GaussDB(for Influx)>,原文作者:栖迟於一丘. 前言 随着云计算规模越来越大,以及物联网应用逐渐普及, ...
- 分布式大数据多维分析引擎:Kylin 在百度地图的实践
2019独角兽企业重金招聘Python工程师标准>>> 1. 前言 百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提 ...
- 上亿级的大数据量,如何高性能实现展示分析?
上亿级的大数据量,如何高性能实现展示分析? 日常一提数据分析和可视化,就想到这个工具操作要多简单易用,图表要多美多炫,然而总是忽略背后的数据支撑. excel 几十万行数据就卡死崩,谈何数据透视表.可 ...
- 中国光纤将打造全球顶级T4级分布式云计算数据中心
中国光纤将打造全球顶级T4级分布式云计算数据中心.目前,该公司附属公司河北四方通信设备正于河北省石家庄市兴建大数据云中心. 项目一期计划于2017年12月投入运营,预期将由中国电信集团公司河北省电信分 ...
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程:通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
- 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
- Apache Gobblin 分布式大数据集成框架
Apache Gobblin 是一个分布式大数据集成框架,用于流式和批处理数据生态系统.该项目 2014 年起源于 LinkedIn,2015 年开源,并于 2017 年 2 月进入 Apache 孵 ...
最新文章
- zookeeper脑裂
- Unicode,UTF-32,UTF-16,UTF-8到底是啥关系?
- PHPCMS V9爆出多个SQL注入漏洞
- 网络中的计算机之间的关系,有关服务器与主机之间的关系
- SilverLight明日起通过微软更新推送
- 打印出所有的 水仙花数 ,所谓 水仙花数 是指一个三位数,其各位数字立方和等于该数本身。例如:153是一个 水仙花数 ,因为153=1的三次方+5的三次方+3的三次方。...
- 随机网络与无标度网络详解
- 基于SpringBoot和Vue的OA办公管理系统
- linux打印机设置密码,linux桌面打印机配置指南 | 高蛋白网
- Java-SE 学习笔记 第一章-Java历史及其基本介绍
- iOS 视频边下边播(缓存,预加载)
- 综合布线系统在计算机信息系统中属于,计算机信息系统综合布线问题
- python定义一个dog类 类属性有名字_66-分析一下Dog类这个例子-构造函数和属性
- 史上最全的CSS基础知识大全!
- 计算机无法连接蓝牙键盘,蓝牙鼠标连接不上电脑怎么办?
- 对数组做交换(swap)会发生什么?
- GridControl应用点滴之选中数据行事件
- 到北京软通动力做项目经理怎么样?
- 利用Html完成一张课程表的网页
- “一52岁程序员老将”,看完这“208道精品面试题”;最终成功跳槽阿里P8,从此平步青云,飞黄腾达
热门文章
- 真正的取真实IP地址及利弊Asp.net
- mano安全_爱立信:O-RAN存在的安全风险
- 2021年8月最新sci-hub可用网址,高速稳定
- Vivado ILA无法触发,点Stop Trigger提示There are no armed ILAs
- hyperworks2018安装教程
- windows10自动填充密码开机自动登陆
- VisualStudio C++内存泄漏的检测方法(二)
- c语言比较麻烦的编程题,C语言编程题,比较简单
- AI理论知识基础(24)-凸函数
- (视频+图文)机器学习入门系列-第10章 人工神经网络