hadoop cdh maven
之前一直结合Maven开发Hadoop2.2.0的程序，环境换成CDH5.2后报错，发现是Maven依赖库的问题。
之前一直使用
http://mvnrepository.com/
查找maven依赖，但这类网站只能查到通用的maven依赖，没有包含CDH依赖，还好Cloudera提供了CDH的依赖：
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_cdh5_maven_repo.html
简言之，往pom文件加入以下两部分内容即可：
1.指向cloudera的库
<repositories>
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>
</repositories>
2.CDH相关依赖，比如
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.0-cdh5.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.5.0-cdh5.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-maven-plugins</artifactId>
<version>2.5.0-cdh5.2.0</version>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>0.98.6-cdh5.2.0</version>
</dependency>
更多的CDH依赖请查阅
http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_cdh5_maven_repo.html
hadoop cdh maven相关推荐
- hadoop cdh 4.5的安装配置
春节前用的shark,是从github下载的源码,自己编译.shark的master源码仅支持hive 0.9,支持hive 0.11的shark只是个分支,不稳定,官方没有发布release版,在使 ...
- Cloudera Manager 4.6 安装部署hadoop CDH集群
Cloudera Manager 4.6 安装详解 1. Cloudera Manager介绍 1.1. 功能介绍 Cloudera Manager是一个针对hadoop集群的管理工具,功能包括:cd ...
- cdh maven仓库地址
常用的maven仓库地址: 中央库:http://repo.maven.apache.org/maven2/ cdh库:https://repository.cloudera.com/artifact ...
- hadoop编程-maven环境搭建
maven: 配置maven环境 ①将maven解压到一个没有空格没有中文的路径上 ②添加环境变量M2_HOME,并添加PATH路径 M2_HOME=C:\mysoft\apache-maven-3. ...
- spark 3.1.x支持（兼容）hive 1.2.x以及hadoop cdh版本的尝试
版本 spark 3.1.x hive 1.2.x hadoop 2.6.0-cdh-5.13.1 背景 由于好多公司的yarn集群用的是cdh版本的,用Cloudera Manager管理的.而截止 ...
- Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
大数据技术与架构 点击右侧关注,大数据开发领域最强公众号! 暴走大数据 点击右侧关注,暴走大数据! 本文是由alice菌发表在:https://blog.csdn.net/weixin_4431883 ...
- Hadoop, Hbase
https://antkillerfarm.github.io/ Hadoop 最近(2016.4),参加公司组织的内部培训,对Hadoop有了一些认识,特记录如下. 概述 Hadoop项目由Doug ...
- 【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce
文章目录 导学 大数据概述 初识Hadoop 概述 核心组件 HDFS分布式文件系统 资源调度系统YARN MapReduce 优势 发展史 生态系统 发行版本选择 企业应用案例 第3章 分布式文件系 ...
- hadoop关于hdfs详细解答
HDFS内容 大数据的概念及其特征 Hadoop简介及其生态圈 HDFS的内部组件介绍 HDFS的安装模式介绍 独立模式 伪分布式模式 完全分布式的搭建 HDFS的常用命令 HDFS的设计思想 HDF ...
最新文章
- uniapp H5 JSSDK封装使用
- python py生成及调用pyd(so)文件
- 最明的int和Integer的区别
- javascript中的闭包closure详解
- 【Spring】SpringMVC之REST编程风格
- 指令打印与驱动打印随笔
- javaweb可部署目录结构
- vue怎么改logo_vue全家桶项目构建教程
- Linux C/C++ UDP Socket 网络通信
- Linux学习笔记11——文件I/O之二
- 安装paddle（飞桨）
- 三层交换机与路由器对接上网
- 微服务网关Gateway在实战中如何结合注册中心，定义过滤器？
- 三帧差分 matlab,三帧差分法
- 起风了用计算机打,《起风了》计算机简谱
- gitlab CI CD
- 常用类(API)第一节
- （1）ENVI-met项目介绍
- 解析USGS网站页面中的地震空间数据
- 电脑网页打开巨慢但是网络正常