hive简介以及安装配置
Hive简介
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。
本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
这套映射工具称之为metastore,一般存放在derby、mysql中。
1.2 hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。
(修改hive的位置:进入hive-site.xml找到name=hive.metastore.warehouse.dir修改value值即可)
hive的安装
(1)解压缩、重命名、设置环境变量
(2)在目录$HIVE_HOME/conf/下,执行命令mvhive-default.xml.template hive-site.xml重命名
在目录$HIVE_HOME/conf/下,执行命令mvhive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(4)在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps
执行命令rpm -qa|grep -i mysql 检查是否删除干净
(2)执行命令 rpm-i mysql-server-******** 安装mysql服务端
(3)启动mysql 服务端,执行命令 mysqld_safe &
(4)执行命令 rpm-i mysql-client-******** 安装mysql客户端
(5)执行命令mysql_secure_installation设置root用户密码
使用mysql作为hive的metastore
(1)把mysql的jdbc驱动放置到hive的lib目录下
(2)修改hive-site.xml文件,修改内容如下:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>admin</value>
</property>
实例
内部表
CREATE TABLE t1(id int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;
(注:LOCAL表示从Linux的磁盘文件中加载,去掉LOCAL则表示从hdfs中加载)
CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDSTERMINATED BY '\t';
分区表
CREATE TABLE t3(id int) PARTITIONED BY (day int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1 PARTITION (day=22);
桶表
create table t4(id int) clustered by(id) into 4 buckets;
sethive.enforce.bucketing = true;
insert into table t4 select id from t3;
外部表
create external table t5(id int) location '/external';
hive简介以及安装配置相关推荐
- 【①MySQL】浅谈数据库系统:MySQL的简介与安装配置
前言 欢迎来到小K的MySQL专栏,本节将为大家带来MySQL的简介与安装配置的详细讲解~ 目录 前言 一.数据库系统概述 数据(Data) 数据库(Database) 数据库管理系统(Databas ...
- 【赵强老师】Redis简介和安装配置
先看视频. [赵强老师]Redis简介和安装配置 什么是Redis? Redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串 ...
- Git版本SVN工具简介与安装配置及使用
文章目录 SVN介绍 一.使用原理 二.安装配置SVN 1.安装Git 2.下载SVN 总结 SVN介绍 SVN是Subversion的简称,是一个开放源代码的版本控制系统,相较于RCS.CVS,它采 ...
- Tez的简介以及安装配置
Tez简介 Tez是一个Hive的运行引擎,由于没有中间存盘的过程,性能优于MR.Tez可以将多个依赖作业转换成一个作业,这样只需要写一次HDFS,中间节点少,提高作业的计算性能. Tez的安装步骤 ...
- Python学习笔记一简介及安装配置
Python学习笔记一 参考教程:廖雪峰官网https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e54 ...
- JDK简介及安装配置|史上最全详细版
yanze v3.0 20200328 一.Java概述 Java创始人是詹姆斯·高斯林(James Gosling),他在1977年获得了加拿大卡尔加里大学计算机科学学士学位,1983年获得了美国卡 ...
- ETL工具Kettle简介和安装配置基本使用
什么是Kettle Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定. Kettle 中文名称叫水壶,该项目的主程 ...
- ZBar简介及安装配置流程 | 2021SC@SDUSC
2021SC@SDUSC 目录 Zbar简介 配置流程 环境 下载ZBer库文件 配置环境变量 VS配置 测试代码 总结 Zbar简介 zbar算法是现在网上开源的条形码,二维码检测算法,算法可识别大 ...
- sqoop简介与安装配置
SQOOP的描述 SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HDFS.Hive.HBase中 (2)把HDFS.Hive.HBase中的数据导出到M ...
最新文章
- vb打开服务器excel文件路径,咨询下VB如何打开EXCEL文件并将内容显示在listbox中
- 《Beginning Linux Programming》读书笔记(二)
- PHP沉思录-第三篇-Smarty-左轻侯-《程序员》2007年10月号
- 微服务网关Kong 1.0正式发布!提供100+项功能
- 高小明的云平台搭建系列之一——物理机装 ESXi 5.0
- redis php 书,php中redis的使用
- Spring运行期间配置文件解析返回
- Python数据可视化词云展示周董的歌
- thinkphp3.2自定义success及error跳转页面
- 火焰传感器感应有火亮灯代码_智能无线感应灯火了,光感人感2种传感器感应,做照明品牌的几光...
- linux下关于密码复杂度设置
- 1218 标签的显示与隐藏
- 玛丽卡(codevs 1021)
- armgcc交叉编译的文件无法运行_[阿里巴巴(校招/社招)] 虚拟机与编译器团队招人啦~ (JVM / GCC / LLVM 方向)...
- 浅谈Listener、Filter、Servlet初始化顺序
- python中sn的意思_python学习笔记
- 传16寸MacBook Pro九月发布 分辨率3072x1920
- 股票学习(技术指标--个股贡献度)
- 注册电子邮箱你知道哪家好吗?好用的电子邮箱盘点
- 大数据技术之Hive 第8章 函数 系统内置函数