[原创]独立模式安装Hive
独立模式安装Hive
在三台CentOS虚拟机server1、server2、 server3上已经成功安装全分布模式的Hadoop集群,其中server1为NameNode, server2、server3为DataNode。本人在server1即NameNode上安装Hive,并使用MySQL数据库存放metadata。
1.首先配置MySQL
安装MySQL
[root@server1 ~]# yum install mysql mysql -server
一路选择yes就行
添加MySQL服务
[root@server1 ~]# /sbin/chkconfig --add mysqld
启动MySQL
[root@server1 ~]# service mysqld start
Starting mysqld: [ OK ]
用root账户在本地登录MySQL
[root@server1 ~]# mysql -u root
出现欢迎页面,进入MySQL monitor.
创建数据库实例hive
mysql > CREATE DATABASE hive;
创建用户hive
mysql > CREATE USER 'hive' IDENTIFIED BY 'hive';
给用户hive赋予相应的访问与读写权限
mysql > GRANT ALL ON hive.* TO hive@localhost ;
2.配置Hive
下载hive-0.8.1,并解压
[admin@server1 hive-0.8.1]$ pwd
/home/admin/hive-0.8.1
修改系统环境变量,在path中加入Hive执行路径
[root@server1 ~]# vim /etc/profile
...................
export HIVE_HOME=/home/admin/hive-0.8.1
export PATH=$PATH:$HIVE_HOME/bin
应用修改
[root@server1 ~]# source /etc/profile
下载MySQL的JDBC驱动包MySQL-connector-java-5.1.18-bin.jar,复制到hive-0.8.1的lib目录下
将Hive的conf下的文件hive-default.xml.template复制一份,重命名为hive-site.xml
[admin@server1 conf]$ cp hive-default.xml.template hive-site.xml
将复制的hive-site.xml 移动到所安装的Hadoop的conf目录下
[admin@server1 conf]$ mv hive-site.xml /home/admin/hadoop-0.20.2/conf
修改hive-site.xml,配置,主要修改以下属性
所连接的MySQL数据库实例
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
连接的MySQL数据库驱动
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
连接的MySQL数据库用户名
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property>
连接的MySQL数据库密码
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
<description>password to use against metastore database</description>
</property>
2.测试Hive
在控制台键入Hive,进入Hive操作界面
[admin@server1 ~]$ hive
Logging initialized using configuration in jar:file:/home/admin/hive-0.8.1/lib/hive-common-0.8.1.jar!/hive-log4j.properties
Hive history file=/tmp/admin/hive_job_log_admin_201212011113_1138680566.txt
hive>
显示存在的表:
hive> SHOW TABLES;
OK
Time taken: 0.063 seconds
建立表records:
hive> CREATE TABLE records (year STRING, temperature INT, quality INT)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
OK
Time taken: 0.253 seconds
显示存在的表,多了一个records:
hive> SHOW TABLES;
OK
records
Time taken: 0.089 seconds
查看表records的定义
hive> DESCRIBE records;
OK
year string
temperature int
quality int
Time taken: 0.139 seconds
向表records导入数据
hive> LOAD DATA INPATH '/user/admin/in/ncdc/micro/sample.txt'
> INTO TABLE records;
Loading data to table default.records
OK
Time taken: 0.337 seconds
查看表records的数据
hive> SELECT * FROM records;
OK
1950 0 1
1950 22 1
1950 -11 1
1949 111 1
1949 78 1
Time taken: 0.264 seconds
计算records中每一年的最高温度
hive> SELECT year, MAX(temperature) FROM records GROUP BY year;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks not specified. Estimated from input data size: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201211240040_0037, Tracking URL = http://server1:50030/jobdetails.jsp?jobid=job_201211240040_0037
Kill Command = /home/admin/hadoop-0.20.2/bin/../bin/hadoop job -Dmapred.job.tracker=server1:9001 -kill job_201211240040_0037
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2012-12-01 11:30:57,089 Stage-1 map = 0%, reduce = 0%
2012-12-01 11:31:15,188 Stage-1 map = 100%, reduce = 0%
2012-12-01 11:31:24,235 Stage-1 map = 100%, reduce = 100%
Ended Job = job_201211240040_0037
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 HDFS Read: 51 HDFS Write: 17 SUCESS
Total MapReduce CPU Time Spent: 0 msec
OK
1949 111
1950 22
Time taken: 47.238 seconds
转载于:https://www.cnblogs.com/leeeee/p/7276655.html
[原创]独立模式安装Hive相关推荐
- SequoiaDB 兼容mysql学习(独立模式安装)
一.环境准备 1.1 受支持的操作系统 1.2 服务器要求 我用的是centos7-x64,这里可以使用自己习惯使用的linux系统 1.3 Linux 系统要求 1.3.1 配置主机名 (1)设置主 ...
- hive hql文档_大数据学习不能停,看看如何安装hive快800倍!共572.91M视频文档
前言 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可 ...
- 为什么hive需要mysql作为数据库_Hive安装(本地独立模式,MySql为元数据库)
部署环境: 系统 Red hat linux 6.4 Hadoop版本 1.2.1 Hive版本 0.11.0 Mysql数据库版本 5.6.15 目前Hive已经更新到0.13.1版本 安装步骤: ...
- linux hive创建数据库失败,Hive本地模式安装及遇到的问题和解决方案
Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行. 其优点是学习成 ...
- 单机安装Hive和Zepplin
前提:准备好两个压缩包 我这里的版本是hive1.1.0 zeppelin0.8.1 如有需要可先关注一波然后问作者要 一.安装Hive 1.首先先安装mysql和hadoop!!!(此处省略一千字 ...
- hbase系列之:独立模式部署hbase
一.概述 在上一篇博文中,我简要介绍了hbase的部分基础概念,如果想初步了解hbase的理论,可以参看上一篇博文 hbase系列之:初识hbase .本博文主要介绍独立模式下部署hbase及hbas ...
- sql安装目录下log文件夹_Linux安装Hive数据仓库工具
1.Hive入门教程 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行.其优点是 ...
- CentOS下Hive2.0.0集群模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 MySQL版本:5.6.30 1. 准备工作 1.1 ...
- CentOS下Hive2.0.0单机模式安装详解
本文环境如下: 操作系统:CentOS 6 32位 Hive版本:2.0.0 JDK版本:1.8.0_77 32位 Hadoop版本:2.6.4 1. 所需要的环境 Hive 2.0需要以下运行环境: ...
- u盘UEFI模式安装Windows10和ubuntu18.04双系统
目录 一.电脑配置 二.U盘重装Windows系统安装要点 三.U盘UEFI模式安装ubuntu18.04要点 一.电脑配置 电脑配置:i5-8400+GTX1060 3G 固态硬盘(SSD,240G ...
最新文章
- kali linux状态栏显示网速
- error: expected ‘{‘ before ‘;‘ token
- 再赠邓超明(帮别人名字作诗)
- 中兴恢复产能还需数周;前苹果工程师已获保释;iPhone再现爆炸门 | 极客头条...
- 【心路历程】(NOIP 206)(HNOI 358)
- 一般毕业论文的查重要求有哪些?
- 稻盛和夫《干法》读后感
- builder设计模式,写和很好
- 用VBA程序开发Excel工具
- 服务架构演变~超详细
- 一级计算机页码居中,word中页码为何不能同时居中
- Java基础学习(二十七)之IO流
- 工业物联网在制造业中有哪些用途?以数网星工业物联网平台为例
- 结合环境专业计算机思维论文,环境艺术设计思维的表达论文范文
- 微信 iPad 835协议
- c++ Primer课后练习9-31
- Vue常用的内置指令的底层细节分析
- visibility属性
- Soloπ 工具使用见解
- ESP8266-AP模式作服务器