[root@node01 mysql]# mysql -u hive -p

Enter password:

mysql> create database hive;

Query OK, 1 row affected (0.00 sec)

mysql> use hive;

Database changed

mysql> show tables;

Empty set (0.00 sec)

3)解压缩hive安装包

tar -xzvf hive-0.9.0.tar.gz

[hadoop@node01 ~]$ cd hive-0.9.0

[hadoop@node01 hive-0.9.0]$ ls

bin  conf  docs  examples  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts  src

4)下载mysql连接java的驱动 并拷入hive home的lib下

[hadoop@node01 ~]$ mv mysql-connector-java-5.1.24-bin.jar ./hive-0.9.0/lib

5)修改环境变量,把Hive加到PATH

/etc/profile

export HIVE_HOME=/home/hadoop/hive-0.9.0

export PATH=$PATH:$HIVE_HOME/bin

6)修改hive-env.sh

[hadoop@node01 conf]$ cp hive-env.sh.template hive-env.sh

[hadoop@node01 conf]$ vi hive-env.sh

7)拷贝hive-default.xml 并命名为 hive-site.xml

修改四个关键配置 为上面mysql的配置

[hadoop@node01 conf]$ cp hive-default.xml.template hive-site.xml

[hadoop@node01 conf]$ vi hive-site.xml

javax.jdo.option.ConnectionURL

jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

username to use against metastore database

javax.jdo.option.ConnectionPassword

hive

password to use against metastore database

8)启动Hadoop,打开hive shell 测试

[hadoop@node01 conf]$ start-all.sh

hive> load data inpath 'hdfs://node01:9000/user/hadoop/access_log.txt'

> overwrite into table records;

Loading data to table default.records

Moved to trash: hdfs://node01:9000/user/hive/warehouse/records

OK

Time taken: 0.526 seconds

hive> select ip, count(*) from records

> group by ip;

Total MapReduce jobs = 1

Launching Job 1 out of 1

Number of reduce tasks not specified. Estimated from input data size: 1

In order to change the average load for a reducer (in bytes):

set hive.exec.reducers.bytes.per.reducer=

In order to limit the maximum number of reducers:

set hive.exec.reducers.max=

In order to set a constant number of reducers:

set mapred.reduce.tasks=

Starting Job = job_201304242001_0001, Tracking URL = http://node01:50030/jobdetails.jsp?jobid=job_201304242001_0001

Kill Command = /home/hadoop/hadoop-0.20.2/bin/../bin/hadoop job  -Dmapred.job.tracker=192.168.231.131:9001 -kill job_201304242001_0001

Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

2013-04-24 20:11:03,127 Stage-1 map = 0%,  reduce = 0%

2013-04-24 20:11:11,196 Stage-1 map = 100%,  reduce = 0%

2013-04-24 20:11:23,331 Stage-1 map = 100%,  reduce = 100%

Ended Job = job_201304242001_0001

MapReduce Jobs Launched:

Job 0: Map: 1  Reduce: 1   HDFS Read: 7118627 HDFS Write: 9 SUCCESS

Total MapReduce CPU Time Spent: 0 msec

OK

NULL    28134

Time taken: 33.273 seconds

records在HDFS中就是一个文件:

[hadoop@node01 home]$ hadoop fs -ls /user/hive/warehouse/records

Found 1 items

-rw-r--r--   2 hadoop supergroup    7118627 2013-04-15 20:06 /user/hive/warehouse/records/access_log.txt

hive mysql集群安装_HIVE完全分布式集群安装过程(元数据库: MySQL)相关推荐

  1. Hadoop安装教程_分布式集群

    安装前的准备 伪分布式的设置 集群的规划 集群的初始设置 网络配置 SSH无密码登陆 java及apache环境设置 安装流程 主机的安装 集群的安装 效果与验证 安装注意 模式切换 参考资料 安装前 ...

  2. Hadoop集群安装部署_分布式集群安装_02

    文章目录 一.上传与 解压 1. 上传安装包 2. 解压hadoop安装包 二.修改hadoop相关配置文件 2.1. hadoop-env.sh 2.2. core-site.xml 2.3. hd ...

  3. Hadoop集群安装部署_分布式集群安装_01

    文章目录 1. 分布式集群规划 2. 数据清理 3. 基础环境准备 4. 配置ip映射 5. 时间同步 6. SSH免密码登录完善 7. 免密登录验证 1. 分布式集群规划 伪分布集群搞定了以后我们来 ...

  4. java集群_Kafka多节点分布式集群搭建实现过程详解_java

    上一篇分享了单节点伪分布式集群搭建方法,本篇来分享一下多节点分布式集群搭建方法.多节点分布式集群结构如下图所示: 为了方便查阅,本篇将和上一篇一样从零开始一步一步进行集群搭建. 一.安装Jdk 具体安 ...

  5. Spark笔记整理(一):spark单机安装部署、分布式集群与HA安装部署+spark源码编译...

    [TOC] spark单机安装部署 1.安装scala 解压:tar -zxvf soft/scala-2.10.5.tgz -C app/ 重命名:mv scala-2.10.5/ scala 配置 ...

  6. 【NOSQL 】 memcache 安装及配置分布式集群 双向复制

    安装repcached,并且测试其双向复制是否成功,抓图安装和测试过程作为作业内容提交 1.安装libevent-devel包 [root@ractdg3 nosql]# tar zxvf libev ...

  7. 安装hadoop伪分布式集群心得

    1.hadoop安装: https://www.cnblogs.com/news1997/p/9522717.html https://blog.csdn.net/y12345678904/artic ...

  8. kafka Linux 下启动服务 测试,Linux下安装部署Kafka分布式集群与测试

    注意:部署Kafka之前先部署环境Java.Zookeeper 准备三台CentOS_6.5_x64服务器,分别是: IP: 192.168.0.249dbTest249 Kafka IP: 192. ...

  9. java集群session共享_分布式/集群下session共享方案汇总

    1.F5 BIG-IP 硬件实现session粘性复制 F5 硬件,可以作为HTTP负载均衡器使用,可以将用户IP与Session通过F5进行的绑定,使其Session保持一致性.是直接通过智能交换机 ...

最新文章

  1. java 动态多态性_java4 动态多态性
  2. 如何判断一个数组是否按顺序排好了
  3. android 上拉隐藏布局,Recycleview上拉隐藏与下拉显示
  4. 【转】TI蓝牙BLE 协议栈代码学习
  5. mtk处理器和骁龙对比_下一代手机处理器谁主沉浮
  6. 微服务架构与Spring Cloud Alibaba
  7. python中mainloop什么意思_很难理解python中的Tkinter mainloop()
  8. linux给oracle导入sql语句,Linux数据库创建与数据导入
  9. 推荐两款实用工具——hcache和SQLPad
  10. 农信银高莉:农信科技共享计划
  11. java 求集合真子集_【每日打卡】新高一数学必修打卡第二天教学视频—集合的基本运算...
  12. td外边加div为啥不隐藏_那些不常见,但却非常实用的 css 属性
  13. HDU 2674 N!Again
  14. 一个牛人给java初学者的建议
  15. 快速消费品行业的营销费用的管理分类
  16. Cortex-M可以跑Linux操作系统吗?
  17. 家用linux 版本哪个好,Ubuntu到底哪个版本最好用?
  18. 林亦杉厦门大学计算机学院,郑州外国语学校319名学生被名校提前录取
  19. Java程序员面试全集(上)
  20. UEStudio正则使用实例三则

热门文章

  1. 三维数据平滑处理_关于CAD三维对象建模
  2. pointnet分割自己的点云数据_细嚼慢咽读论文:PointNet论文及代码详细解析
  3. 拖拽的方式使用qbuttongroup_【无机纳米材料科研制图——Photoshop 0402】PS使用选框工具修改图片/图层...
  4. jeecg框架alert消息样式
  5. js基础中Null、undefined、NaN、false、0、{}的理解及使用
  6. linux 裸设备使用,linux裸设备使用
  7. jsplumb拖线_基于jsplumb插件制作可拖拽、保存流程图、重绘保存后的流程图总结...
  8. websocket的用途/场景
  9. 日志框架介绍(SLF4J及其使用)
  10. Java基础面试题与答案