大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk

2024-05-10 15:18:02

作者 Jonathan Allen ，译者张晓鹏

Hunk是Splunk公司一款比較新的产品，用来对Hadoop和其他NoSQL数据存储进行探測和可视化，它的新版本号将会支持亚马逊的Elastic MapReduce。

结合Hadoop使用Hunk

Hadoop由两个单元组成。首先是被称为HDFS的存储单元。HDFS能够分布在成千上万个复制的节点上。接下来是MapReduce单元，它负责跟踪和管理被命名为map-reduce jobs的作业。

之前，开发人员会用到Splunk Hadoop Connect (SHC)连接器。SHC通过经常使用的推模型（push model）来输出数据到Hadoop中。这块处理相当地好，但相反方向的处理却可能会有问题。当通过Splunk来探測数据时，原始的数据会被吸收到Splunk Server来检索和处理。就像人们猜想的那样。这个过程并没有发挥出Hadoop计算能力的优势。

Hunk通过提供与Hadoop MapReduce节点协同工作的适配器来解决问题。

Splunk的查询被转化成Hadoop MapReduce的作业，这些作业在Hadoop集群中处理，终于仅仅有结果被取回到Splunk server中进行分析和可视化。

通过这样的方式，Hunk提供了抽象层，以便用户和开发人员不须要关心怎么去写Hadoop MapReduce的作业。

Hunk还能在MapReduce作业启动前就提供结果预览，以降低无用搜索的数量。

结合Elastic MapReduce使用Hunk

亚马逊的Elastic MapReduce能够看做是对Hadoop的补充，同一时候也是Hadoop的竞争者。EMR既能够执行在Hadoop HDFS集群上，也能够直接执行在AWS S3上。亚马逊宣称使用AWS S3的优势在于比HDFS集群更易于管理。

当执行Elastic MapReduce时。Hunk提供了同样的抽象层和预览功能，就像它在Hadoop上做的一样。

所以从用户的观点来看，在Hadoop和EMR之间切换不会造成什么变化。

云上的Hunk

在云上托管Hunk的传统方法是买一个标准版的许可证。然后部署到虚拟机中，这和你现场安装一样简单。

接下来是

转载于:https://www.cnblogs.com/zhchoutai/p/7382152.html

大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk相关推荐

《Spark与Hadoop大数据分析》一一1.1　大数据分析以及 Hadoop 和 Spark 在其中承担的角色...
本节书摘来自华章计算机<Spark与Hadoop大数据分析>一书中的第1章,第1.1节,作者:文卡特·安卡姆(Venkat Ankam) 更多章节内容可以访问云栖社区"华章计算机 ...
大数据分析之Hadoop
一.目标: 1.完成Hadoop的部署和配置 2.正常启动/关闭Hadoop集群,并完成基准测试 3.理解分布式文件系统的设计思想 4.熟练操作Hadoop集群二.Hadoop的安装与部署一.切换 ...
【大数据分析之Hadoop】一、Hadoop基本原理
一.hadoop概念 Hadoop由两部分组成,一是负责存储与管理文件的分布式文件系统HDFS.二是负责处理与计算的MapReduce的计算框架. 二.HDFS 1.namenode 负责管理工作(管 ...
每周一书《Spark与Hadoop大数据分析》分享！
Spark与Hadoop大数据分析比较系统地讲解了利用Hadoop和Spark及其生态系统里的一系列工具进行大数据分析的方法,既涵盖ApacheSpark和Hadoop的基础知识,又深入探讨所有Spa ...
2020十大最佳大数据分析工具，果断收藏
作者:Sunita Chauhan 转自:InfoQ https://www.infoq.cn/article/IEIa8zX2s0KpLYi34ocE 营销的基本原理是一致的,每个人都喜欢洞察力,因 ...
qtablewidget 数据量大效率很低_让大牛带你走进大数据分析：R基础及应用的潮流尖端，享受RHadoop...
走进R,走进大数据时代数据分析的潮流尖端,掌握R语言,熟悉大数据的基础概念和R与Hadoop结合进行大数据的处理分析. 大数据时代, R以其强大的数据分析挖掘.可视化绘图等功能,越来越受到社会各个领域 ...
SaaSBase：推荐七款超好用的大数据分析工具
如今,大小企业都可以利用商业智能工具来理解复杂的大数据.通过收集和分析这些数据,并将其转化成易于理解的报告,这些解决方案可以为企业提供有价值的洞察力,从而提高企业利润.SaaSBase(saasbas ...
《R与Hadoop大数据分析实战》一1.6　HDFS和MapReduce架构
本节书摘来自华章出版社<R与Hadoop大数据分析实战>一书中的第1章,第1.6节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区"华章计算机&qu ...
使用Hadoop MapReduce进行大数据分析
Google在2001年推出图片搜索功能时,拥有2.5亿张索引图片. 不到十年后,这家搜索巨头就索引了超过100亿张图片. 每分钟有35个小时的内容上传到YouTube. 据说Twitter平均每天处 ...

最新文章

热门文章