hadoop整合纪要

版本：hadoop-1.1.1，hbase-0.94.3，hive-0.9.0

一. 版本兼容
1. hadoop-1.1.1与hbase-0.94.3
$HADOOP_HOME/hadoop-core-*.*.*.jar和$HADOOP_HOME/lib/commons-configuration-*.*.jar拷贝到$HBASE_HOME/lib目录下，删除$HBASE_HOME/lib目录下的hadoop-core-*.jar，避免版本冲突和不兼容。

2. hbase-0.94.3和hive-0.9.0
$HIVE_HOME/lib/hbase-0.92.0.jar和$HIVE_HOME/lib/hbase-0.92.0-tests.jar删除掉，$HBASE_HOME/hbase-0.94.3.jar和$HBASE_HOME/hbase-0.94.3-tests.jar拷贝到$HIVE_HOME/lib/目录下，避免版本冲突和不兼容。

二. 整合所需jar
1. Hive和HBase整合所需jar
$HBASE_HOME/lib目录下所有的 jar 包、$HADOOP_HOME/hadoop-core-1.1.1.jar、$HADOOP_HOME/lib/hive*和$HADOOP_HOME/lib/libfb303.jar以及MySQL的JDBC驱动包(mysql-connector-java-5.0.4-bin.jar)添加到工程的Classpath 下。

转载于:https://www.cnblogs.com/linjiqin/archive/2013/03/07/2947497.html

hadoop整合纪要相关推荐

BZip2Codec压缩、Map端压缩控制、Reduce端压缩控制……都在这份Hadoop整合压缩知识点里了！...
作者 | Tai_Park 责编 | Carol 来源 | CSDN 博客封图 | CSDN付费下载于东方 IC 今天来聊聊 Hadoop 的压缩. 压缩:原始数据通过压缩手段产生目标数据,要求输入 ...
hadoop整合hbase
前文已经结束了在本机安装伪分布式的hadoop,这篇文章介绍安装伪分布式的hbase.hbase也是个主从架构,有hmaster和hregionserver,自带有zookeeper.关于具体的概念我 ...
hadoop大数据平台架构之DKhadoop详解
hadoop大数据平台架构之DKhadoop详解大数据的时代已经来了,信息的爆炸式增长使得越来越多的行业面临这大量数据需要存储和分析的挑战.Hadoop作为一个开源的分布式并行处理平台,以其高拓展. ...
非常不错 Hadoop 的HDFS （Hadoop集群（第8期）_HDFS初探之旅）
1.HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开 ...
hadoop相关(以期为单位）
学习Hadoop不错的系列文章 1)Hadoop学习总结 (1)HDFS简介地址:http://forfuture1978.iteye.com/blog/615033 (2)HDFS读写过程解析地 ...
Hadoop文件系统
HDFS全称是Hadoop Distributed System.HDFS是为以流的方式存取大文件而设计的.适用于几百MB,GB以及TB,并写一次读多次的场合.而对于低延时数据访问.大量小文件.同时写 ...
Hadoop 安装
Hadoop 安装打开xshell连接Linux系统, 1.查看Java版本:Java -version 2.查看mysql:mysql -uroot -proot //打开mysql mysql& ...
大数据入门（Hadoop生态系统）
Hadoop生态系统为大数据领域提供了开源的分布式存储和分布式计算的平台,这一章我们进行Hadoop生态系统的入门学习,介绍其中分布式文件系统HDFS.分布式资源调度YARN.分布式计算框架MapRe ...
开源八预言：桌面Linux必亡、Hadoop要火
2012年关于开源的八大荒诞预测开源的Android操作系统,以雷霆之势迅速占领手机操作系统市场,让原本在手机市场上风光无限的几大手机生产商顿时黯然失色.开源的服务器Linux在短短几年就已 ...

hadoop整合纪要

hadoop整合纪要相关推荐

最新文章

热门文章