所需软件及下载地址
1、mysql或mariadb
mysql下载地址
https://dev.mysql.com/downloads/mysql/5.5.html#downloads
或用mariadb也可以,直接yum安装
yum -y install mariadb-server
2、hive
http://mirrors.hust.edu.cn/apache/hive/
3、mysql-connector-java
https://dev.mysql.com/downloads/connector/j/
一、安装hadoop和mysql,这里略过
注意mysql编码要设置为Latin1,因为hive不支持utf8
在mysql中创建数据库和用户

create database hive;
grant all on hive.* to hive@'%'  identified by 'hive';
grant all on hive.* to hive@'localhost'  identified by 'hive';
flush privileges; 

二、开始安装hive
1、解压

[root@master ~]# tar xf apache-hive-1.2.2-bin.tar.gz -C /opt/

2、修改环境变量

[root@master ]# vi /etc/profile
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin
[root@master ]# source  /etc/profile

3、修改hive-site配置,主要修改以下参数(注,\ 是转义符,因为<>显示不出)

[root@master ]# cd /opt/hive/conf
[root@master conf]# cp hive-default.xml.template hive-site.xml
[root@master conf]# vi hive-site.xml
<\property><\name>javax.jdo.option.ConnectionURL <\/name> <\value>jdbc:mysql://localhost:3306/hive <\/value>
<\/property> <\property> <\name>javax.jdo.option.ConnectionDriverName <\/name> <\value>com.mysql.jdbc.Driver <\/value>
<\/property><\property> <\name>javax.jdo.option.ConnectionPassword <\/name> <\value>hive <\/value>
<\/property> <\property> <\name>hive.hwi.listen.port <\/name> <\value>9999 <\/value> <\description>This is the port the Hive Web Interface will listen on <\/descript ion>
<\/property> <\property> <\name>datanucleus.autoCreateSchema <\/name> <\value>true<\/value>
<\/property> <\property> <\name>datanucleus.fixedDatastore <\/name> <\value>false<\/value>
<\/property> <\property><\name>javax.jdo.option.ConnectionUserName<\/name><\value>hive<\/value><\description>Username to use against metastore database<\/description><\/property><\property><\name>hive.exec.local.scratchdir<\/name><\value>/opt/hive/tmp<\/value><\description>Local scratch space for Hive jobs<\/description><\/property><\property><\name>hive.downloaded.resources.dir<\/name><\value>/opt/hive/tmp<\/value><\description>Temporary local directory for added resources in the remote file system.<\/description><\/property><\property><\name>hive.querylog.location<\/name><\value>/opt/hive/tmp<\/value><\description>Location of Hive run time structured log file<\/description><\/property>

4、拷贝mysql-connector-java-5.1.43-bin.jar 到hive 的lib下面

[root@master ~]# mv mysql-connector-java-5.1.43-bin.jar  /opt/hive/lib/

5、把jline-2.12.jar拷贝到hadoop相应的目录下,否则启动会报错

[root@master ~]# cd /opt/hive/lib
[root@master lib]# cp jline-2.12.jar /opt/hadoop-2.8.1/share/hadoop/yarn/lib/

6、创建hive临时文件夹

mkdir /opt/hive/tmp

三、启动hive
1、启动hadoop后,执行hive命令
[root@master ~]#hive
2、测试

hive> show databases;
OK
default
Time taken: 0.907 seconds, Fetched: 1 row(s)
hive --service metastore

出现此提示说明安装成功
3、创建表

hive> CREATE TABLE csv_t1(index_code string,name string)
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
"separatorChar" = ",",                 #以逗号为分隔符
"quoteChar"     = "'",                   #以单引号为分隔符
"escapeChar"    = "\\")                #以双斜杠为分隔符
STORED AS TEXTFILE; 

4、导入数据

hive> load data local inpath "/usr/local/test.csv" into csv_t1;

四、报错
1、mysql编码不是latin1

FAILED: Execution Error, return code 1 from
org.apache.Hadoop.hive.ql.exec.DDLTask. MetaException
(message:javax.jdo.JDODataStoreException: An exception was
thrown while adding/validating class(es) : Specified key was too
long; max key length is 767 bytes
com.MySQL.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException:
Specified key was too long; max key length is 767 bytes

解决办法

mysql > alter database hive character set latin1;

2、READ-COMMITTED需要把bin-log以mixed方式来记录
否则进入hive,会如下错误

FAILED: Error in metadata: javax.jdo.JDOException: Couldnt
obtain a new sequence (unique id) : Binary logging not possible.
Message: Transaction level 'READ-COMMITTED' in InnoDB is not
safe for binlog mode 'STATEMENT' 

解决办法

mysql >set global binlog_format='MIXED'; 

转载于:https://blog.51cto.com/quliren/2049382

Centos7安装hive相关推荐

  1. CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

    1.前言 说明:安装hive前提是要先安装hadoop集群,并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),可以不在datanode节点的机器 ...

  2. centos7安装大数据平台

    centos7安装大数据实验平台 1 网络配置 配置静态Ip [root@hadoop1 network-scripts]# cat ifcfg-ens160 TYPE=Ethernet PROXY_ ...

  3. CentOS7安装CDH(五):CDH的安装和部署-CDH5.7.0

    目录 0. 相关文章链接 1. CDH的下载 1.1. cm的tar包下载 1.2. parcels包下载 2. 安装CDH的准备工作(所有节点都要执行) 2.1. 安装好JDK 2.2. 更改主机名 ...

  4. CentOS7安装CDH5.14过程全纪录

    目录 简介 环境及软件说明 环境说明 所需软件及说明 安装前的主机准备 一.安装JDK.(每台主机都要做) 二.配置主机名和hosts(每台主机都要做,并且根据各个主机情况做相应的修改) 三.禁止交换 ...

  5. centos7 nginx配置php7,centos7安装并配置nginx+php,centos7nginx

    centos7安装并配置nginx+php,centos7nginx centos7安装并配置nginx+php 安装nginx yum install nginx 设置nginx开启起动 syste ...

  6. centos7安装配置pgAgent

    centos7安装pgagent: 默认cmake已经安装 编译wxGTK https://excellmedia.dl.sourceforge.net/project/wxwindows/2.8.7 ...

  7. centos7 安装mysql php_Centos7安装mysql与php的方法

    本文主要和大家分享Centos7安装mysql与php的方法,希望能帮助到大家. 相关mysql视频教程推荐:<mysql教程> 官网下载安装mysql-server 依次使用下面三个命令 ...

  8. Centos7安装Apache和PHP,包含配置过程

    本文主要讲的是本人在迁移php网站相关软件的安装和配置过程,以及一下问题的解决步骤.通过阅读本文能够知道如何迁移php网站,如何配置httpd服务使得它能够解析php文件以及如何解决迁移过程中的异常问 ...

  9. LINUX CentOS7安装字体库

    LINUX CentOS7安装字体库 2017年12月26日 17:06:07 q260996583 阅读数:4866更多 个人分类: linux JAVA画图时常用到Font 类对象 这样的对象依赖 ...

  10. 附录C 编译安装Hive

    如果需要直接安装Hive,可以跳过编译步骤,从Hive的官网下载编译好的安装包,下载地址为http://hive.apache.org/downloads.html . C.1  编译Hive C.1 ...

最新文章

  1. 每日一皮:为什么程序猿是最适合谈恋爱的人
  2. Thymeleaf语法规则
  3. 【SQL】表A多个字段,关联表B一个字段说明
  4. c++string转char数组_C++ 算法题解:打印沙漏、素数对猜想、数组元素循环右移问题...
  5. 一年仅一款!坚果Pro 3终于要来了,会有人支持吗?
  6. 【kafka】kafka 2.3 关于控制Broker端入站连接数的讨论
  7. Android做的第一个小程序
  8. poj 1985 Cow Marathon 【树的直径】
  9. 最简单方法远程调试Python多进程子程序
  10. QT 基础类结构图及核心库
  11. java Session缓存
  12. itools苹果录屏大师_超级录屏大师苹果版下载-超级录屏大师APP
  13. php --- 二维码生成代码
  14. c语言智能小车项目的感想,智能小车实训报告
  15. 电子-电路-电磁(一)阻抗匹配
  16. 推荐我看过的几本好书给大家
  17. wp手机 htc x310e
  18. ffmpeg 查看bayer rg8 \ bg8 像素格式图片方法
  19. 阿里云ACE备考题库161-240
  20. HTML5期末大作业:电影网站设计——漫威电影(2页) HTML+CSS+JavaScript 学生DW网页设计作业成品 web课程设计网页规划与设计 web学生网页设计作业源码...

热门文章

  1. c语言中x的n次方怎么表示_为什么一定要慎用C语言标准库中的pow函数,你知道吗?...
  2. python函数案例名片管理器_python实现名片管理器的示例代码
  3. 微信朋友圈的测试用例
  4. 经典傅里叶算法小集合 附完整c代码
  5. Python机器学习(sklearn)——分类模型评估与调参总结(上)
  6. 众人拾柴火焰高,5G承载将逐步进入成熟期
  7. 使用监控宝监控php-fpm状态
  8. 西班牙夺得欧洲杯给IT业的十条启示
  9. 实战 Nginx 与 PHP(FastCGI)的安装、配置与优化
  10. SQLHelp sql数据库的DAL