apache hadoop_春天遇见Apache Hadoop

apache hadoop

SpringSource 刚刚宣布了适用于Apache Hadoop的Spring的第一个GA版本。该项目的目的是简化基于Hadoop的应用程序的开发。

您可以下载该项目在这里，并检查了Maven的文物在这里。

Apache Hadoop的Spring诞生是为了解决Hadoop应用程序构建不良的问题，该应用程序通常由命令行实用程序，脚本和代码段组成。正如Spring项目所期望的那样，它为广泛的Hadoop生态系统项目提供了一致的编程和配置模型。

这里还包含了众所周知的Template API设计模式，因此该框架包括以下类：

HBase模板
HiveTemplate
猪模板

另一个受欢迎的方面是从小规模开始发展为复杂解决方案的方法。因此，Spring for Hadoop引入了各种Runner类，这些类允许执行Hive ， Pig脚本，香草Map / Reduce或Streaming 作业，级联流，还可以通过熟悉的JDK Callable合同调用基于JVM的通用前后脚本。

当事情变得越来越复杂时，升级到Spring Batch变得简单而容易。 Spring Batch丰富的功能可用于处理大文件的ETL处理，可直接转换为Hadoop用例，以从HDFS提取和导出文件。

此外，将Spring Hadoop与Spring Integration结合使用，可以对事件流进行丰富的处理，这些事件流可以在从HDFS或其他存储（例如NoSQL存储）读取和写入之前进行转换，丰富，过滤， Spring Data为此提供了很多支持。

要启动您的应用程序，您可以从提供的示例应用程序开始（已编译并可以下载）。如果您测试Hadoop的Spring驱动器，请让我们知道并分享知识。

编码愉快！

翻译自: https://www.javacodegeeks.com/2013/02/spring-meets-apache-hadoop.html

apache hadoop

apache hadoop_春天遇见Apache Hadoop相关推荐

春天遇见Apache Hadoop
SpringSource 刚刚宣布了适用于Apache Hadoop的Spring的第一个GA版本 . 该项目的目的是简化基于Hadoop的应用程序的开发. 您可以下载该项目在这里 ,并检查了Mave ...
apache karaf_Apache Karaf遇到Apache HBase
apache karaf 介绍 Apache HBase是一个以Google Bigtable为蓝本的开源,分布式,版本化,面向列的商店. 如果您是普通读者,那么您可能已经知道Apache Karaf ...
Caused by: org.apache.phoenix.shaded.org.apache.zookeeper.KeeperException$NoNodeException: KeeperErr
在集群zookeeper.hdfs.hbase都开启的情况下,无法通过sqlline.py开启 phoenix,显示报错内容为 Caused by: org.apache.phoenix.shaded ...
Apache软件基金会宣布Apache Unom成为顶级项目
导读:2019年3月21日,Apache软件基金会(ASF)宣布,Apache®Unomi™成为顶级项目(TLP).Apache Unomi是一个标准的客户数据平台(CDP),它管理在线客户.线索和访 ...
linux apache 负载均衡,使用Apache作为前端负载均衡器
在某些场景中,我们需要在前端放置一个Apache作为负载均衡器,后台有若干台Apusic或者其它的类似于Tomcat/WebLogic等应用服务器,客户端发送到Apache的请求,将被分配到后台的这些 ...
禁止apache显示目录索引 apache禁止列目录
2019独角兽企业重金招聘Python工程师标准>>> 禁止apache显示目录索引 apache禁止列目录禁止Apache显示目录索引的常见的3种方法. 要实现禁止Apache显 ...
官宣了！Apache ECharts 毕业成为 Apache 软件基金会顶级项目！
2021 年 1 月 26 日,德克萨斯州威明顿市 Apache 软件基金会(ASF)是 350 多个开源项目和计划的全志愿开发者.管理者和孵化者,今天宣布 Apache® ECharts™成为顶级项 ...
Linux 下搭建Apache,Linux 下搭建Apache 服务器
在开发过程中尤其实在开发web程序时,我们经常需要测试web程序是否运行·正常或者测试结果是否正确,因此我们需要有一个可以运行web程序的服务器.大家也都知道web服务器的种类很多,可以根据不同的需求 ...
apache php并发数,apache查看当前并发数多少
1.查看apache当前并发访问数:netstat -an | grep ESTABLISHED | wc -l 对比httpd.conf中MaxClients的数字差距多少. 2.查看有多少个进程数 ...

apache hadoop_春天遇见Apache Hadoop

apache hadoop_春天遇见Apache Hadoop相关推荐

最新文章

热门文章