Hive内嵌模式说明：

在内嵌模式下（通过hive命令启动），CLI、Driver、metastore以及derby服务都运行在一个RunJar进程内。

1 安装环境介绍

1.1 相关组件版本

组件版本说明
组件名称	版本号	备注
Ubuntu	16.06	64-bit
Hadoop	hadoop-2.5.2	包括HDFS、YARN
Hive	hive-1.2.1	N/A

1.2 安装顺序

Hadoop-》Hive

2 安装过程

2.1 安装Hadoop

安装步骤略。运行时进行如下所示：

模块名称	操作系统	IP地址	主机名	账户	服务
Hadoop	Ubuntu	192.168.209.131	node1	root/root	主节点： 4865 DataNode 4759 NameNode 5306 NodeManager 5050 SecondaryNameNode 5195 ResourceManager
		192.168.209.132	node2	root/root	4483 NodeManager 4372 DataNode
		192.168.209.133	node3	root/root	4011 DataNode 4124 NodeManager

2.2 安装Hive

Hive的安装比较简单，本节示例中和hadoop一样安装在root用户下。

步骤 1 上传软件包。

将Hive安装包apache-hive-1.2.1-bin.tar.gz上传到node1节点的“/home”目录下。

步骤 2 解压安装包并修改名称。

tar -zxvf apache-hive-1.2.1-bin.tar.gz

mv apache-hive-1.2.1-bin hive-1.2.1

步骤 3 配置环境变量。

vi /etc/profile

export HIVE_HOME=/home/hive-1.2.1

exportPATH=$PATH:$HIVE_HOME/bin:/home/hive-1.2.1/conf

source /etc/profile

步骤 4 修改Hive配置文件。

1. 修改配置文件hive-env.sh.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

# SetHADOOP_HOME to point to a specific hadoop install directory

#HADOOP_HOME=${bin}/../../hadoop

HADOOP_HOME=/home/hadoop-2.5.2

# HiveConfiguration Directory can be controlled by:

export HIVE_CONF_DIR=/home/hive-1.2.1/conf

# Foldercontaining extra ibraries required for hive compilation/execution can becontrolled by:

exportHIVE_AUX_JARS_PATH=/home/hive-1.2.1/lib

2. 修改配置文件hive-site.xml.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

配置示例如下所示：

<name>hive.exec.local.scratchdir</name>

<value>/home/hive-1.2.1/iotmp</value>

<description>Local scratch space forHive jobs</description>

</property>

<name>hive.downloaded.resources.dir</name>

<value>/home/hive-1.2.1/iotmp/${hive.session.id}_resources</value>

<description>Temporary localdirectory for added resources in the remote file system.</description>

</property>

<name>hive.querylog.location</name>

<value>/home/hive-1.2.1/iotmp</value>

<description>Location of Hive runtime structured log file</description>

</property>

<name>hive.server2.logging.operation.log.location</name>

<value>/home/hive-1.2.1/iotmp/operation_logs</value>

<description>Top level directorywhere operation logs are stored if logging functionality isenabled</description>

</property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:derby:;databaseName=metastore_db;create=true</value>

<description>JDBC connect string for aJDBC metastore</description>

</property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>org.apache.derby.jdbc.EmbeddedDriver</value>

<description>Driver class name for aJDBC metastore</description>

</property>

3. 修改配置文件hive-config.sh

cd /home/hive-1.2.1/bin

vi hive-config.sh

配置示例如下所示：

export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-256}

export JAVA_HOME=/root/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop-2.5.2

export HIVE_HOME=/home/hive-1.2.1

步骤 5 在HDFS上创建Hive仓库的目录（这些路径是在hive-site.xml里配置的默认路径）。

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

步骤 6 替换 jline.jar 包 cp /home/hive-1.2.1/lib/jline-2.12.jar /home/hadoop-2.5.2/share/hadoop/yarn/lib/

步骤 7 启动Hive（需要先启动HDFS和YARN）。

启动Hive CLI: hive

启动过程中如有报错，在网上查找解决即可。

Hive 内嵌模式安装指导相关推荐

内嵌模式搭建Hive
在此之前已经搭建好了一个三台机器的hadoop集群:https://blog.csdn.net/QYHuiiQ/article/details/123055389?spm=1001.2014.3001 ...
hive内嵌时间日期函数：所有关于时间日期的函数
日期函数在hive中很常用,甚至有时候要自定义时间函数.首先hive中存放的数据经常是按时间分区进行存储的,有时候按时间分区的时间就是从日志中国解析出来的时间,或者有时候截取时间进行区间划分.比如我们 ...
java derby 网络模式_Derby 使用的2种方式：内嵌和独立
Derby数据库是一个纯用Java实现的内存数据库,属于Apache的一个开源项目.由于是用Java实现的,所以可以在任何平台上运行:另外一个特点是体积小,免安装,只需要几个小jar包就可以运行了. ...
H2内嵌数据库的使用
H2内嵌数据库的使用 H2是一个开源的嵌入式数据库引擎,采用java语言编写,不受平台的限制. 同时H2提供了一个十分方便的web控制台用于操作和管理数据库内容. H2还提供兼容模式,可以兼容一些主流 ...
Derby 使用的2种方式：内嵌和独立
Derby数据库是一个纯用Java实现的内存数据库,属于Apache的一个开源项目.由于是用Java实现的,所以可以在任何平台上运行:另外一个特点是体积小,免安装,只需要几个小jar包就可以运行了. ...
spring boot内嵌tomcat优雅的开启apr模式
文章目录简介 Win下开启APR Linux下开启APR 把lib打进jar包简介环境: jdk8.spring boot 2.3.4.RELEASE.centOS7.3.win7 在sprin ...
Hive远程模式安装指导
Hive远程模式说明: 在远程模式下,Metastore.Driver(即Hive服务).和CLI分别运行在不同的Runjar进程中,且必须依次启动. 1 安装环境介绍 1.1 相关组件版本组件版本 ...
Makefile所有内嵌函数
一.文本处理函数以下是GNU make内嵌的文本(字符串)处理函数. 1 $(subst FROM,TO,TEXT) 函数名称:字符串替换函数-subst. 函数功能:把字串" ...
linux awk命令详解，使用system来内嵌系统命令,批量github，批量批下载视频, awk合并两列...
linux awk命令详解简介 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分 ...

Hive 内嵌模式安装指导

Hive内嵌模式说明：

1 安装环境介绍

1.1 相关组件版本

1.2 安装顺序

2 安装过程

2.1 安装Hadoop

2.2 安装Hive

Hive 内嵌模式安装指导相关推荐

最新文章

热门文章