春天遇见Apache Hadoop

SpringSource 刚刚宣布了适用于Apache Hadoop的Spring的第一个GA版本。该项目的目的是简化基于Hadoop的应用程序的开发。

您可以下载该项目在这里，并检查了Maven的文物在这里。

Apache Hadoop的Spring诞生是为了解决Hadoop应用程序构建不良的问题，该应用程序通常由命令行实用程序，脚本和代码段组成。正如Spring项目所期望的那样，它为广泛的Hadoop生态系统项目提供了一致的编程和配置模型。

这里还包含了众所周知的Template API设计模式，因此该框架包括以下类：

HBase模板
HiveTemplate
猪模板

另一个受欢迎的方面是从小规模开始发展为复杂解决方案的方法。因此，Spring for Hadoop引入了各种Runner类，这些类允许执行Hive ， Pig脚本，香草Map / Reduce或Streaming 作业，层叠流，还可以通过熟悉的JDK Callable合同调用基于JVM的通用前后脚本。

当事情变得越来越复杂时，升级到Spring Batch变得简单而容易。 Spring Batch丰富的功能可用于处理大文件的ETL处理，可直接转换为Hadoop用例，以从HDFS提取和导出文件。

此外，将Spring Hadoop与Spring Integration结合使用，可以对事件流进行丰富的处理，这些事件流可以在从HDFS或其他存储（例如NoSQL存储）读取和写入之前进行转换，丰富，过滤， Spring Data为此提供了很多支持。

要启动您的应用程序，您可以从提供的示例应用程序开始（已编译并可以下载）。如果您测试Hadoop的Spring驱动器，请让我们知道并分享知识。

编码愉快！

翻译自: https://www.javacodegeeks.com/2013/02/spring-meets-apache-hadoop.html

春天遇见Apache Hadoop相关推荐

apache hadoop_春天遇见Apache Hadoop
apache hadoop SpringSource 刚刚宣布了适用于Apache Hadoop的Spring的第一个GA版本 . 该项目的目的是简化基于Hadoop的应用程序的开发. 您可以下载该项 ...
Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境
系列目录: Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境 Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式 Hadoop实战(3)_虚拟机搭建CDH的全分布模式 Had ...
Submarine：在 Apache Hadoop 中运行深度学习框架
\u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...
org.apache.hadoop.fs-ChecksumException
当ChecksumFileSystem出现问题时抛出 1 package org.apache.hadoop.fs; 2 3 import java.io.IOException; 4 5 /** T ...
hadoop错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 原创hongxiao2016 最后发布于2019-03-30 21:20:5 ...
apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南（无需虚拟机和cygwin）
工作须要.要開始搞hadoop了,又是大数据,自己感觉大数据.云.仅仅是ERP.SOAP风潮之后与智能地球一起诞生的概念炒作. 只是Apache是个奇妙的组织.Java假设没有它也不会如今如火中天.言 ...
Apache Hadoop 2.7如何支持读写OSS
背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持O ...
org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in receiveBlock for block
Hbase依赖的datanode日志中如果出现如下报错信息:DataXceiverjava.io.EOFException: INFO org.apache.hadoop.hdfs.server.da ...
org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决
org.apache.hadoop.ipc.Client: Retrying connect to server异常的解决参考文章: (1)org.apache.hadoop.ipc.Client: ...

春天遇见Apache Hadoop

春天遇见Apache Hadoop相关推荐

最新文章

热门文章