环境要求:


mysql

hadoop

hive版本为:apache-hive-1.2.1-bin.tar

1.设置hive用户


进入mysql命令行,创建hive用户并赋予所有权限:

mysql -uroot -proot

mysql>create user 'hive' identified by 'hive';

mysql>grant all on *.* TO 'hive'@'%' with grant option;

mysql>flush privileges;

2.创建hive数据库


使用hive用户登录,创建hive数据库:

mysql -uhive -phive

mysql>create database hive;

mysql>show databases;

3.安装Hive

下载hive安装文件

可以到Apache基金hive官网http://hive.apache.org/downloads.html,选择镜像下载地址:http://mirrors.cnnic.cn/apache/hive/下载一个稳定版本,

把mysql驱动放到hive的lib目录下

把下载的hive安装包和mysql驱动包,使用

cd /home/hadoop/Downloads

cp mysql-connector-java-5.1.34-bin.jar /usr/local/hive-0.12.0/lib

4.配置/etc/profile环境变量


使用如下命令打开/etc/profile文件:

sudo vi /etc/profile

#set hive path

export  HIVE_HOME=/usr/local/hive
export  PATH=$PATH:$HIVE_HOME/bin
export  CLASSPATH=$CLASSPATH:$HIVE_HOME/bin

使配置文件生效:

source /etc/profile

5.设置hive-env.sh配置文件


进入hive-0.12.0/conf目录,复制hive-env.sh.templaete为hive-env.sh:

cd /usr/local/hive-0.12.0/conf

cp hive-env.sh.template hive-env.sh

ls

vi hive-env.sh

分别设置HADOOP_HOME和HIVE_CONF_DIR两个值:

6.设置hive-site.xml配置文件

复制hive-default.xml.templaete为hive-site.xml

cp hive-default.xml.template hive-site.xml

sudo vi hive-site.xml

(1)加入配置项

默认metastore在本地,添加配置改为非本地  可以忽略此步


<property><name>hive.metastore.local</name><value>false</value>
</property>

(2) 修改配置项

hive默认为derby数据库,需要把相关信息调整为mysql数据库

<property><name>hive.metastore.uris</name><value>thrift://hadoop1:9083</value><description>Thrift URI for the remote metastore. ...</description>
</property>
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop1:3306/hive?=createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description>
</property>
<property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description>
</property>
<property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>username to use against metastore database</description>
</property>
<property><name>javax.jdo.option.ConnectionPassword</name><value>hive</value><description>password to use against metastore database</description>
</property>

(3) 订正错误项

在配置文件2000行左右配置项hive.server2.thrift.sasl.qop原来为<value>auth</auth>,按照如下进行修改:

<property><name>hive.server2.thrift.sasl.qop</name><value>auth</value><des.....
</property>

并把hive.metastore.schema.verification配置项值修改为false

<property><name>hive.metastore.schema.verification</name><value>false</value><desc....>
</property>

7.验证部署

启动metastore和hiveserver

在使用hive之前需要启动metastore和hiveserver服务,通过如下命令启用:

把MySQL的JDBC驱动包复制到Hive的lib目录下。

JDBC驱动包的版本:mysql-connector-java-5.1.18-bin.jar



以下也可以忽略

hive --service metastore &

hive --service hiveserver &

启动用通过jps命令可以看到两个进行运行在后台

8.在hive中操作

登录hive,在hive创建表并查看该表,命令如下:

hive

hive>create table test(a string, b int);

hive>show tables;

hive>desc test;

不能正常启动,处理方式为:

http://blog.csdn.net/olfisher/article/details/48730229

Terminal initialization failed; falling back to unsupported原因是hadoop目录下存在老版本jline:/hadoop-2.5.2/share/hadoop/yarn/lib:
-rw-r--r-- 1 root root   87325 Mar 10 18:10 jline-0.9.94.jar解决方法是:将hive下的新版本jline的JAR包拷贝到hadoop下:
cp /hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar .//hadoop-2.5.2/share/hadoop/yarn/lib:
-rw-r--r-- 1 root root   87325 Mar 10 18:10 jline-0.9.94.jar.bak-rw-r--r-- 1 root root  213854 Mar 11 22:22 jline-2.12.jar

转载于:https://blog.51cto.com/iqdutao/1766918

Hadoop学习之第七章节:Hive安装配置相关推荐

  1. Hadoop学习笔记(16)Hive的基本概念、Hive的下载与安装、MySQL数据库下载与安装

    一.Hive基本概念 1.Hive简介 Hive是一个基于hadoop的开源数据仓库工具,用于存储和处理海量结构化数据.它把海量数据存储于hadoop文件系统,而不是数据库,但提供了一套类数据库的数据 ...

  2. Hadoop学习笔记——入门教程(虚拟机安装LinuxHadoop环境搭建配置)

    文章目录 一.Hadoop安装配置文档及注意事项 二.Hadoop概述 2.1.Hadoop是什么 2.2.Hadoop的发展历史 2.3.Hadoop三大发行版本 2.3.1 Apache Hado ...

  3. 学习笔记Hive(二)—— Hive安装配置

    一.环境介绍 环境 描述 4个Linux操作系统虚拟机 使用centos7镜像配置 安装java 1.8以上版本 安装Hadoop 2.6.5以上版本 安装MySQL 5.1以上版本 二.安装MySQ ...

  4. Hadoop学习笔记(一)——编译安装和配置

    近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部 ...

  5. Alex 的 Hadoop 菜鸟教程: 第10课 Hive 安装和使用教程

    原帖地址: http://blog.csdn.net/nsrainbow/article/details/41748863 最新课程请关注原作者博客 声明 本文基于Centos 6.x + CDH 5 ...

  6. Hadoop HIVE 安装配置(单机集群)

    hive配置只与mysql有关,会自动根据hadoop_home来找数据,所以不必配置相应的datanode和namenode,也不必管单机还是集群 解析SQL语法,组装成一个mapreduce jo ...

  7. Hive安装配置及应用

    Hive是一个构建在Hadoop上的数据仓库框架,需要的支持组件包括:HDFS.YARN.MapReduce.它是应Facebook每天产生的海量新兴社交网络数据进行管理和机器学习的需求而产生和发展的 ...

  8. Hadoop学习笔记—1.基本介绍与环境配置

    一.Hadoop的发展历史 说到Hadoop的起源,不得不说到一个传奇的IT公司-全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的G ...

  9. mysql hive 安装 配置_hive 安装配置部署与测试

    系统初始化 mysql5.6 的安装配置 hive 的安装配置处理 一: 系统环境初始化 1.1 系统环境: CentOS6.4x64 安装好的hadoop伪分布环境 所需软件包: apache-hi ...

最新文章

  1. mysql8创建用户并授权_新版mysql8.0.12添加用户并设置权限避免踩坑!
  2. 【渝粤教育】国家开放大学2019年春季 2110行政法与行政诉讼法 参考试题
  3. react学习笔记10:显示隐藏效果和tab切换效果
  4. 外军网络空间作战简报
  5. 佳能Canon PIXMA G1010 打印机驱动
  6. 商品管理系统——Java实现
  7. 关于腾讯云搭建Socks5多IP代理服务器实现游戏单窗口单IP完美搭建教程附带工具
  8. 【PICkit3】PICkit3 Programmer烧写教程
  9. 图像的几何变换maketform imtransform imresize imcrop
  10. win10 激活 错误码 0xc004f074
  11. Day215.课程详细页面功能完善、Echarts统计分析模块[生成统计数据+生成图表]前后端整合 -谷粒学院
  12. 如何下载头歌平台在线实验闯关中的文件到本地进行查看
  13. SQL格式日志转为syslog格式:触发器中执行Shell命令
  14. Visual Studio 2019 Compiler Hangs
  15. LoadRunner 的简单使用
  16. QPST驱动安装失败的原因以及解决方法
  17. C++核心准则边译边学-目标之外
  18. 简单高效的直播直播系统源码需要的服务器
  19. 入门必做的51单片机实验2----》利用外部中断的方法来控制发光二极管和共阴极数码管显示十六进制的0到F
  20. 传智播客黑马Java学习笔记_day10_02

热门文章

  1. 一种新的计算机视觉技术?将手机的摄像头变成了一个搜索引擎
  2. 随机变量,概率密度及其统计量
  3. 个性化推荐系统研究热点之用户画像
  4. SAP MM 采购申请评估价格不能为0?
  5. SD VC - 变式价格
  6. 综述丨七场高端报告,带你大视角看人工智能发展
  7. 城市大脑全球标准研究2:如何理解和定义城市大脑?
  8. 特斯拉烧,特斯拉烧完蔚来烧
  9. 不平等加剧与问责机制:纽约大学AI Now研究所2018 AI现状报告 | 报告
  10. 我摊牌了,这就是我的生活