java程序员的大数据之路（16）：Hive简介

安装Hive

Hive的安装比较简单，可以直接从官网下载。然后把解压到合适的位置。

Hive的配置

解压完成后，需要配置好环境变量。
vim /etc/profile
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
修改$HIVE_HOME/conf目录下的两个文件名
mv hive-default.xml.template hive-site.xml
mv hive-default.xml.template hive-site.xml
修改hadoop-env.sh文件中的HADOOP_CLASSPATH
export HADOOP_CLASSPATH=${JAVA_HOME}/lib/tools.jar:${HADOOP_CLASSPATH}
修改文件$HIVE_HOME/bin/hive-config.sh，增加内容
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop

踩过的坑

启动时报错

Exception in thread "main"Java.lang.RuntimeException: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7Datorg.apache.Hadoop.hive.ql.session.SessionState.start(SessionState.java:444)atorg.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:672)atorg.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:616)atsun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)atjava.lang.reflect.Method.invoke(Method.java:606)atorg.apache.hadoop.util.RunJar.main(RunJar.java:160)
Caused by: java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7Datorg.apache.hadoop.fs.Path.initialize(Path.java:148)atorg.apache.hadoop.fs.Path.<init>(Path.java:126)atorg.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:487)atorg.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:430)... 7more
Caused by: java.net.URISyntaxException:Relative path in absolute URI:${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7Datjava.net.URI.checkPath(URI.java:1804)atjava.net.URI.<init>(URI.java:752)atorg.apache.hadoop.fs.Path.initialize(Path.java:145)... 10more

把hive-site.xml文件中system:java.io.tmpdir改为一个可读可写的绝对路径。

java程序员的大数据之路（16）：Hive简介相关推荐

java程序员的大数据之路（13）：Pig入门
Pig简介 Pig为大型数据集的处理提供了更高层次的抽象. Pig包括两部分: 用于描述数据流的语言,称为Pig Latin. 用于运行Pig Latin程序的执行环境.当前有两个环境:单JVM中的本 ...
java程序员的大数据之路（3）：用maven构建Hadoop项目
背景由于Hadoop项目多数是比较大的项目,因此我们选择使用构建工具来构建Hadoop项目,这里我们使用的是maven.当然也可以使用Gradle等比较流行的构建工具构建过程这里总结一下我使用I ...
java程序员的大数据之路（1）：Hadoop安装
Hadoop伪分布式安装从今天开始我会在这里记录在大数据学习方面的方法和遇到的一些问题. 首先从最著名的开源平台Hadoop开始学习.参考安装教程,这个教程比较全面,按照步骤一步步安装即可. 安装时 ...
java程序员的大数据之路（12）：Hadoop的守护进程
关键属性 Hadoop守护进程的关键属性大多标记为final,使作业的配置无法覆盖. 典型的core-site.xml配置文件 <?xml version="1.0"> ...
java程序员的大数据之路（9）：MapReduce的类型
概述 Hadoop的MapReduce中,map和reduce函数遵循如下常规格式: map:(K1,V1) -> list(K2,V2) reduce:(K2,list(V2)) -> ...
java程序员的大数据之路（2）：创建第一个Hadoop程序
环境 Ubuntu 16.04 + Hadoop 2.7.4 + Intellij idea 2017.2 + jdk 1.8 创建过程新建工程新建一个工程输入工程名可以随便给工程起一个名字, ...
java程序员的大数据之路（15）：Pig Latin用户自定义函数
过滤函数所有的过滤函数都要继承FilterFunc类,并且实现抽象方法exec(),该方法的返回类型为Boolean. 示例代码如下: package com.udf.filter;import o ...
java程序员的大数据之路（14）：Pig Latin
结构一个Pig Latin程序由一组语句构成,一个语句可以理解为一个操作,或一个命令.语句必须以分号结束. Pig Latin有两种注释方法,双减号表示单行注释.多行注释可以使用/* 和 */表示. ...
java程序员的大数据之路（8）：MapReduce的工作机制
概述 Hadoop运行作业时的整个过程如果所示. 包含如下4个独立的实体. 客户端:提交MapReduce作业. jobtracker:协调作业的运行.它的主类是JobTracker. tasktra ...
java程序员的大数据之路（7）：基于文件的数据结构
SequenceFile 介绍由于日志文件中每一条日志记录是一行文本.如果想记录二进制类型,纯文本是不合适的.这种情况下,Hadoop的SequenceFile类非常合适.SequenceFile可 ...

java程序员的大数据之路（16）：Hive简介

安装Hive

Hive的配置

踩过的坑

java程序员的大数据之路（16）：Hive简介相关推荐

最新文章

热门文章