hive取mysql数据oracle数据,Hive安装过程(mysql/oracle存储元数据)详解
Hive安装过程(mysql/oracle存储元数据)
前置条件:
- mysql数据库已经安装成功
- hadoop环境已经配置正确,且可以提供正常服务
说明:
-由于资源有限,下面配置的hadoop集群只有一个节点,所有服务都在一个节点上启动
(一)mysql存储元数据
(1)创建mysql用户
[email protected]:~$ mysql -uroot -pmysql
mysql> CREATE USER 'hive' IDENTIFIED BY 'mysql';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql> flush privileges;
(2)重启mysql服务
sudo service mysql restart
(3)建立 Hive 专用的元数据库(使用刚才创建的hive用户登陆)
mysql> exit;
hadoop@ubuntu:~$mysql -uhive -pmysql
mysql> create database hive;
(4)Hive环境变量及配置项
设置环境变量
在/home/hadoop/.bashrc文件中加入环境变量
export HIVE_HOME=/home/hadoop/apache-hive-2.1.0-bin
export PATH=$HIVE_HOME/bin:$PATH
修改配置文件
将 $HIVE_HOME/conf/hive-default.xml.template修改为$HIVE_HOME/conf/hive-site.xml,修改hive-site.xml文件内容如下:
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionUserName
hive
Username to use against metastore database
javax.jdo.option.ConnectionPassword
mysql
password to use against metastore database
(5)下载mysqlJDBC驱动包,复制到Hive的lib目录下
cp mysql-connector-java-5.1.39-bin.jar $HIVE_HOME/lib/
(6)初始化hive元数据表
schematool -initSchema -dbType mysql
(7)启动 Hive Shell
启动 Hive Shell, 执行“show tables;”命令,如果不报错,表明基于独立元数据库的 Hive 已经安装成功了
(8)测试
创建表
hive> create table mytable(str STRING);
查看表信息
hive> describe mytable;
OK
str string
Time taken: 0.075 seconds, Fetched: 1 row(s)
添加数据
echo "test hive table row" >/tmp/myfile
hive -e "LOAD DATA LOCAL INPATH '/tmp/myfile' INTO TABLE mytable" ;
查询数据
hive> select * from mytable;
OK
test hive table row
Time taken: 0.152 seconds, Fetched: 1 row(s)
删除表
hive> drop table mytable;
OK
Time taken: 2.133 seconds
(二)oracle 存储元数据
(1)创建用户
sqlplus "sys as sysdba"
SQL> create user hive identified by hive;
User created.
SQL> grant connect to hive;
Grant succeeded.
SQL> grant all privileges to hive;
Grant succeeded.
(2)配置文件
javax.jdo.option.ConnectionURL
jdbc:oracle:thin:@myhost:1521:xe
javax.jdo.option.ConnectionDriverName
oracle.jdbc.OracleDriver
javax.jdo.option.ConnectionUserName
hive
javax.jdo.option.ConnectionPassword
hive
(3)下载oracle驱动包
(4)初始化表
schematool -dbType oracle -initSchema
(5)示例(使用Hive自带的数据)
创建表
hive> CREATE TABLE testtable (foo INT, bar STRING) PARTITIONED BY (ds STRING);
插入数据
hive> LOAD DATA LOCAL INPATH '$HIVE_HOME/examples/files/kv1.txt' OVERWRITE INTO TABLE testtable PARTITION (ds='2016-07-28');
hive> LOAD DATA LOCAL INPATH '$HIVE_HOME/examples/files/kv2.txt' OVERWRITE INTO TABLE testtable PARTITION (ds='2016-07-29');
请将$HIVE_HOME替换成具体路径执行
- 查询数据
hive> select t.foo from testtable t where t.ds='2016-07-29';
(6)参考
hive取mysql数据oracle数据,Hive安装过程(mysql/oracle存储元数据)详解相关推荐
- 云计算、大数据、人工智能傻傻分不清楚?本文详解这三者的关系
云计算.大数据.人工智能傻傻分不清楚?本文详解这三者的关系 提示: 今天跟大家讲讲云计算.大数据和人工智能.这三个词现在非常火,并且它们之间好像互相有关系. 一般谈云计算的时候会提到大数据.谈人工智能 ...
- python可以处理多大的数据_科多大数据之Python基础教程之Excel处理库openpyxl详解...
原标题:科多大数据之Python基础教程之Excel处理库openpyxl详解 科多大数据小课堂来啦~Python基础教程之Excel处理库openpyxl详解 openpyxl是一个第三方库,可以处 ...
- 数据训练营|BAT都在用的方法,详解A/B测试的那些坑!
作者|蚂蚁金服人工智能部产品经理 范磊 本文首发|微信公众号 友盟数据服务 (ID:umengcom),转载请注明出处 If you are not running experiments,you a ...
- pandas dataframe数据聚合groupby、agg、privot基于sum统计详解及实例
pandas dataframe数据聚合groupby.agg.privot基于sum统计详解及实例 知道了sum.那么min.max.mean.median都是举一反三的事情了. 在日常的数据分析中 ...
- 数据结构图,图存储结构详解
1. 数据结构的图存储结构 我们知道,数据之间的关系有 3 种,分别是 "一对一"."一对多" 和 "多对多",前两种关系的数据可分别用线性 ...
- oracle查看已安装补丁包,ORACLE查看数据库安装补丁情况
ORACLE查看数据库安装补丁情况 ORACLE查看数据库安装补丁情况 查看ORACLE数据库的版本以及补丁情况,可以通过opatch lsinventory命令来查看,Linux版本和Windows ...
- Mysql存储引擎详解(MyISAM与InnoDB的区别)
Mysql存储引擎详解(MyISAM与InnoDB的区别) 存储引擎 MySQL中的数据用各种不同的技术存储在文件(或者内存)中.这些技术中的每一种技术都使用不同的存储机制.索引技巧.锁定水平 ...
- MySQL高可用方案-PXC(Percona XtraDB Cluster)环境部署详解
MySQL高可用方案-PXC(Percona XtraDB Cluster)环境部署详解 Percona XtraDB Cluster简称PXC.Percona Xtradb Cluster的实现是在 ...
- mysql数据库存储引擎和索引的描述_Mysql InnoDB引擎的索引与存储结构详解
前言 在Oracle 和SQL Server等数据库中只有一种存储引擎,所有数据存储管理机制都是一样的. 而MySql数据库提供了多种存储引擎.用户可以根据不同的需求为数据表选择不同的存储引擎,用户也 ...
- MySQL常用存储引擎详解
MySQL常用存储引擎详解 一.什么是存储引擎 二.掌握存储引擎的重要性 三.MySQL常用的存储引擎有哪些 四.存储引擎的特性 1.InnoDB 2.MyISAM 3.MEMORY 4.ARCHIV ...
最新文章
- 训练不出结果_智能训练仪:专业化智能防控近视训练设备
- POJ2186——并查集+Tarjan算法求强连通分量
- 【PAT笔记】PAT中的散列思想
- ECSTORE 关于FILTER条件所代表的含义
- Linq to Oracle 使用教程(八)使用 T4 模版生成代码
- Visual Studio 2012 C# ActiveX控件开发总结
- 已成功拿下字节、腾讯、脉脉offer,满满干货指导
- Java网络01基本网络概念
- PHP underlying structure
- 万维网c语言题库题,一级office选择题.doc
- pop错误 找不到服务器,POP3 连接事务失败 - 找不到客户端访问服务器
- Vultr VPS修改root密码的方法
- 新 Nsight Graph、Nsight Aftermath 版本中的性能提升和增强功能
- windbg 分析pchunter导致的蓝屏
- 电商数据分析常见的指标汇总
- 简悦+Logseq 搭建本地化个人知识库
- C#的Linq to SQL
- 为什么双赞安卓ARM工控主板应用前景那么好?
- 华为、H3C、锐捷三家交换机配置命令详解
- 开题报告、文献综述、外文翻译、论文反抄袭软件、论文目录,就差论文正文了,其他都全了!!
热门文章
- C#程序读取MAC地址的方法
- java在线支付---09,10,11,12_在线支付_分析易宝支付网关的应答协议与处理代码,完成用于处理支付响应的Servlet的初步编写和调试,完成处理支付网关响应结果的Servlet,支付实现
- 走进COM组件系列(一)
- sql 单表/多表查询去除重复记录
- 杭电1597 find the nth digit
- 执行计划有时不准确_高效学习计划的制定原则和分类执行方法
- 随想录(smp的一些注意事项)
- 神奇的go语言(聊天室的开发)
- c语言 error2050,c语言程序设计20509new.doc
- boolean linux shell_给PowerShell脚本传递一个布尔值