Hive学习和配置Mysql
1.Hive简介
起源自facebook由Jeff Hammerbacher领导的团队
构建在Hadoop上的数据仓库框架
设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据
2008年facebook把hive项目贡献给Apache
Hive的组件与体系架构
用户接口:shell, thrift, web等
Thrift服务器
元数据库“Derby, Mysql等
解析器
Hadoop
Hive安装模式
内嵌模式:元数据保持在内嵌的Derby模式,只允许一个会话连接(默认)
本地独立模式:在本地安装Mysql,把元数据放到Mysql内
远程模式:元数据放置在远程的Mysql数据库
2.配置Mysql
1:copy mysql-connector-java-5.1.6-bin.jar到$HIVE_HOME/lib
[jifeng@jifeng02 hadoop]$ ls
7287OS_Code hadoop-1.2.1.tar.gz hive-0.12.0-bin tmp
hadoop-1.2.1 hadoop-2.4.1-src.tar.gz hive-0.12.0-bin.tar.gz
hadoop-1.2.1-bin.tar.gz hadoop-2.4.1.tar.gz mysql-connector-java-5.1.6-bin.jar
[jifeng@jifeng02 hadoop]$ cp mysql-connector-java-5.1.6-bin.jar hive-0.12.0-bin/lib
2:修改$HIVE_HOME/conf/hive-site.xml
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://jifengsql:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description>
</property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description>
</property><property><name>javax.jdo.PersistenceManagerFactoryClass</name><value>org.datanucleus.api.jdo.JDOPersistenceManagerFactory</value><description>class implementing the jdo persistence</description>
</property><property><name>javax.jdo.option.DetachAllOnCommit</name><value>true</value><description>detaches all objects from session so that they can be used after transaction is committed</
description>
</property><property><name>javax.jdo.option.NonTransactionalRead</name><value>true</value><description>reads outside of transactions</description>
</property><property><name>javax.jdo.option.ConnectionUserName</name><value>dss</value><description>username to use against metastore database</description>
</property><property><name>javax.jdo.option.ConnectionPassword</name><value>jifeng</value><description>password to use against metastore database</description>
</property>
3:启动hive
[jifeng@jifeng02 hive-0.12.0-bin]$ hiveLogging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> show tables;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
hive> quit;
报错,网上查询后说是没把 mysql的jar包mysql-connector-java-5.1.10-bin.jar,放在hive安装目录的lib下
把 mysql-connector-java-5.1.6-bin.jar 替换成mysql-connector-java-5.1.10-bin.jar还是不行。
检查 mysql发现连接不上,换个虚拟机上mysql
[dss@localhost ~]$ mysql -u root -p
Enter password:
--root 登陆mysql
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 70
Server version: 5.6.16 MySQL Community Server (GPL)Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.mysql> create database hive;
Query OK, 1 row affected (0.01 sec) --创建hive库mysql> GRANT all ON hive.* TO dss@'%' IDENTIFIED BY 'abc123';
Query OK, 0 rows affected (0.03 sec)--给dss用户对hive库授权mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)--刷新系统权限表mysql> set globalbinlog_format='MIXED';
ERROR 1193 (HY000): Unknown system variable 'globalbinlog_format'
mysql> alter database hive character set latin1 ;
Query OK, 1 row affected (0.00 sec)--更新字符集
再次启动
[jifeng@jifeng02 hive-0.12.0-bin]$ hiveLogging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> show tables;
OK
Time taken: 6.273 seconds
hive>
没有错误了。
4.Hive的运行模式即任务的执行环境
1启动hive 命令行模式:
1:直接输入#hive的执行程序,
2:或者输入 #hive --service cli
l 分为本地与集群两种
我们可以通过mapred.job.tracker 来指明
设置方式:
hive >
SET mapred.job.tracker=local
2.hive验证启动的方法
l 1、hive web界面的(端口号9999) 启动方式
#hive --service hwi
[jifeng@jifeng02 hive-0.12.0-bin]$ hive --service cliLogging initialized using configuration in jar:file:/home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-common-0.12.0.jar!/hive-log4j.properties
hive> quit;
[jifeng@jifeng02 hive-0.12.0-bin]$ hive --service hwi
15/08/17 15:17:10 INFO hwi.HWIServer: HWI is starting up
15/08/17 15:17:10 INFO mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog
15/08/17 15:17:10 INFO mortbay.log: jetty-6.1.26
15/08/17 15:17:10 INFO mortbay.log: Extract /home/jifeng/hadoop/hive-0.12.0-bin/lib/hive-hwi-0.12.0.war to /tmp/Jetty_0_0_0_0_9999_hive.hwi.0.12.0.war__hwi__ow27i/webapp
15/08/17 15:17:11 INFO mortbay.log: Started SocketConnector@0.0.0.0:9999
用于通过浏览器来访问hive
http://jifeng02:9999/hwi/
l 2、hive 远程服务(端口号10000) 启动方式
#hive --service hiveserver
Hive学习和配置Mysql相关推荐
- Hive安装与配置MySQL元数据库
一.MySQL的安装 1.1 更新获取最新软件源,并安装MySQL. sudo apt-get update sudo apt-get install mysql-server 1.2 启动和关闭My ...
- Ubuntu下安装hive,并配置mysql作为元数据库
一.安装hive 1. 下载并解压hive源程序 sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local # 解压到/usr/local ...
- hive 和mysql配置_Hive学习和配置Mysql
1.Hive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 20 ...
- Hive的下载安装,以及配置mysql作为元数据库
hive下载地址: http://www.apache.org/dyn/closer.cgi/hive/ 安装部署: 解压hive源程序: sudo tar -zxvf ./apache-hive-1 ...
- mysql64位机安装和配置_MySQL学习第二天 安装和配置mysql winx64
一.安装方式 MySQL安装文件分为两种,一种是MSI格式的,一种是ZIP格式的.下面来看看这两种方式: MSI格式的可以直接点击安装,按照它给出的安装提示进行安装,Windows操作系统下一般MyS ...
- 大数据hadoop、mysql、hive超详细配置及问题解决
1.前提准备 hadoop-3.1.3.tar.gz jdk-8u162-linux-x64.tar.gz mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz apa ...
- mysql dba系统学习(19)配置mysql+lvs+keeplived实现Mysql读操作的负载均衡
配置mysql+lvs+keeplived实现Mysql读操作的负载均衡 环境: test1192.168.46.131master test2192.168.46.130slave备份test库 t ...
- mysql dba系统学习(18)mysql主从复制的实现 mysql dba系统学习(19)配置mysql+lvs+keeplived实现Mysql读操作的负载均衡
mysql主从复制的实现 1.MySQL复制的实现原理 MySQL支持单向.双向复制.异步复制,复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当从服务器.主服务器将更新写入一个二进制日志文 ...
- Hadoop集群搭建(八:Hive的安装配置)
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
最新文章
- 找到一个或多个多重定义的符号
- SQL 调试:无法启动 T-SQL 调试。未能附加到 SQL Server 进程
- 网站设置404错误页
- 学JAVA的诗句_学Java有感(终)
- PHP网络版CRM客户管理系统
- 对Oracle SQL Developer中 变量的学习
- 聊聊reactive streams的schedulers 1
- log4cpp 使用完全手册
- 如何让自己的CS水平更进一步?(二)了解武器
- 【Unity实战100例】Unity读取加载Gif动图的两种方式
- SegNet论文笔记及其创新点代码解析
- 社会工程学案例调研和研究
- 大数据超详细面试题汇总(附答案)
- spark学习之SparkSQL
- 大数据经典学习路线以及各阶段所发挥的作用
- 怎么在计算机网络上添加文件,教你win7如何设置网络共享文件夹
- WordPress主题_大前端DUX主题7.1原版+优化-91apps.cn就要应用网
- 设计模式-生成器模式
- 一个假冒的序列号被用来注册Internet Download Manager。IDM正在退出...解决办法
- 视频综合平台架构分析
热门文章
- python 数组在最前面插入数据_Python 按照现有规则将数值插入到数组中
- IDEA显示类的结构 Alt+F7
- 主存块和cache块关系_Cache(直接相联)
- 最流行的python爬虫框架_Python最火爬虫框架Scrapy入门与实践
- Linux 访问文件的acl信息,linux文件权限管理与ACL访问控制列表
- python程序代码是什么_python编程:下列代码表示什么含义
- comsol分析时总位移代表什么_【仿真百科】什么是结构力学?
- 【机器学习算法专题(蓄力计划)】十二、机器学习中KNN算法
- 物理化学 焓变的计算和相变焓
- 记录处理搜狗新闻分类