hive数据仓库安装
目录
安装msyql 数据库
安装hive数据仓库
下载hive 安装包
解压压缩包：
修改 /etc/profile 文件
复制conf 文件中的配置文件
创建 hive-site.xml 文件
修改 hive-env.sh 文件
修改 hive-log4j2.properties 文件
分发文件
修改客户端 hive-site.xml 文件
在服务端、客户端，添加mysql 连接包
启动mysql 服务
服务端：启动服务
客户端：启动客户端
问题：
问题1：
问题2：
问题3：
问题4：
问题5：
hive 数据仓库的使用：
创建表：
加载数据：
查询：
hive数据仓库的基本特点：
1. 基于hdfs 进行存储
2. 源数据存储在关系型数据库里面
3. 提供客户端访问
4. 将sql 语句转换成对应的MapReduce 操作
安装msyql 数据库
安装mysql 服务
yum install -y mysql-server
没有可用的安装包，只能手动安装
源码安装：https://blog.csdn.net/yang_zzu/article/details/104352726
docker容器安装：https://blog.csdn.net/yang_zzu/article/details/104469902
安装hive数据仓库
hive的使用是基于 hadoopHA 进行安装的
hadoopHA 的安装: https://blog.csdn.net/yang_zzu/article/details/108199608
| hive服务端 | hive客户端 | |
| yang100 | * | |
| yang101 | * |
hive 官方配置文件，各个参数的介绍
https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration
下载hive 安装包
解压压缩包：
客户端服务端都要进行安装包的解压缩
tar -xvzf apache-hive-3.1.2-bin.tar.gz
pwd 获得当前文件夹的路径
修改 /etc/profile 文件
vim /etc/profile
重新加载配置文件
source /etc/profile
复制conf 文件中的配置文件
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-default.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
创建 hive-site.xml 文件
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property> <name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.232.100:3306/hive?createDatabaseIfNotExist=true</value></property><property> <name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property> <name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property> <name>javax.jdo.option.ConnectionPassword</name><value>123456</value></property></configuration>修改 hive-env.sh 文件
这里内容之前都有在 /etc/profile 文件中给配置过，直接从文件里面进行内容的复制即可
# export HIVE_AUX_JARS_PATH=
export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export HIVE_HOME=/app/apache-hive-3.1.2-bin
export HADOOP_HOME=/app/hadoop-3.2.1
export HIVE_CONF_DIR=/app/apache-hive-3.1.2-bin/conf修改 hive-log4j2.properties 文件
手动指定 hive 的日志文件地址
分发文件
将配置好的文件分发到 yang100 节点（yang100 的节点作为服务端）
修改客户端 hive-site.xml 文件
yang101节点作为客户端：
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>
</property><property> <name>hive.metastore.local</name><value>false</value>
</property><property><name>hive.metastore.uris</name><value>thrift://192.168.232.100:9083</value>
</property></configuration>在服务端、客户端，添加mysql 连接包
启动mysql 服务
service mysqld start
服务端：启动服务
hive --service metastore
客户端：启动客户端
hive
问题：
问题1：
Exception in thread "main" java.lang.RuntimeException: com.ctc.wstx.exc.WstxUnexpectedCharException: Unexpected character ' ' (code 160) in prolog; expected '<'
at [row,col,system-id]: [2,61,"file:/app/apache-hive-3.1.2-bin/conf/hive-site.xml"]
显示第2行，61列出现了问题，unexpected character ' ' 说的是没有预料到的空格，将hive-site.xml 文件中，所有末尾的空格删除，防止其他的配置，也出现这种情况。
问题2：
Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V
at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357)
hive 中的 guava-19.0.jar
hadoop 中的 guava-27.0-jre.jar
将hadoop 中的 高版本的jar包 复制到 hive 中
将hive 中原先的 guava 包重命名，服务端，客户端，都要进行jar 包的替换操作
问题3：
MetaException(message:Version information not found in metastore.)
修改服务端 hive-site.xml 文件
添加配置信息
<property><name>hive.metastore.schema.verification</name><value>false</value>
</property>问题4：
MetaException(message:Required table missing : "`DBS`" in Catalog "" Schema "". DataNucleus requires this table to perform its persistence operations. Either your MetaData is incorrect, or you need to enable "datanucleus.schema.autoCreateTables")
修改服务端 hive-site.xml 文件
添加配置信息
<property><name>datanucleus.schema.autoCreateAll</name><value>true</value>
</property>问题5：
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Column length too big for column 'PARAM_VALUE' (max = 21845); use BLOB or TEXT instead
修改数据库的编码方式：
hive 数据仓库的使用：
创建表：
CREATE TABLE psn(
id int,
name string,
likes array<string>,
address map<string,string>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n';
加载数据：
load data local inpath '/hiveData/myData/psn.txt' into table psn;
local 表示的是从linux 服务器上加载数据
不添加 local 表示从hdfs 文件系统加载数据
1,小明1,lol-book-movie,beijing:chaoyang-shanghai:pudong
2,小明2,lol-book,beijing:chaoyang-shanghai:pudong
3,小明3,lol-movie,beijing:chaoyang
4,小明4,lol,beijing:chaoyang-shanghai:pudong
5,小明5,book-movie,beijing:chaoyang-shanghai:pudong
6,小明6,lol-book-movie,beijing:chaoyang-shanghai:pudong
7,小明7,movie,beijing:chaoyang-shanghai:pudong
8,小明8,lol-book-movie,shanghai:pudong
9,小明9,lol-book-movie,beijing:chaoyang-shanghai:pudong查询：
select * from psn;
select count(*) from psn;
hive数据仓库安装相关推荐
- hadoop安装hive及配置mysql_Hadoop系列之Hive(数据仓库)安装配置
Hadoop系列之Hive(数据仓库)安装配置 1.在NameNode安装 cd /root/soft tar zxvf apache-hive-0.13.1-bin.tar.gz mv apache ...
- Hadoop集群搭建（八：Hive的安装配置）
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
- Hive学习笔记 —— Hive的安装
1. Hive的安装模式 官网下载安装包:http://hive.apache.org/ 历史版本下载:http://archive.apache.org/ 本次使用:http://archive.a ...
- Hive的安装【完整版】
1.首先在安装mysql 详情见: linux安装mysql详细过程[easy] https://blog.csdn.net/qq_41946557/article/details/102680532 ...
- Hive的安装和使用以及Java操作hive
Hive 引言 简介 hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org). hive是一个基于大数据技术的数据仓库(DataW ...
- 7 Hive数据仓库
Hive数据仓库 数据仓库简介 数据仓库的结构 数据仓库数据模型 Hive数据仓库工具简介 Hive系统架构 Hive工作原理 Hive数据类型 Hive安装模式 Hive的管理(访问)方式 Hive ...
- Hive数据仓库实战
文章目录 前言 一.Hive原理和功能介绍 二.Hive安装部署 三.Hive SQL操作 UDF函数 Hive 数据仓库模型设计 总结 前言 Hive作为大数据平台Hadoop之上的主流应用,公司一 ...
- Hive的安装与配置——第1关：Hive的安装与配置
第1关:Hive的安装与配置 任务描述 本关任务:在已安装Hadoop的基础上安装配置好Hive并运行. 相关知识 为了完成本关任务,你需要掌握: 1.Hive的基本安装: 2.Mysql的安装与设置 ...
- Hive的安装与优化
HIve: 概念: Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,数据仓库使 ...
最新文章
- 转载：【OpenCV入门教程之五】 分离颜色通道多通道图像混合
- Github标星3w+，热榜第一，如何用Python实现所有算法
- uiswitch样式_Swift - 表格UITableView的plain、grouped两种样式详解（附分组头悬停）
- java铃声类_MediaPlayer.setDataSource中的java.lang.IllegalStateException，使用铃声类
- Ubuntu 16.04 安装CodeBlocks
- html5个人博客毕业论文,基于HTML的个人博客网页设计.docx
- STM32CubeMx开发之路—13使用SPI读写W25Q64
- 你真的了解行盒模型吗？
- 移动端输入密码时调用英文软键盘
- Exchange邮箱的创建和配置
- 把一个数组最开始的若干个元素搬到数组的末尾，我们称之为数组的旋转。 输入一个非减排序的数组的一个旋转，输出旋转数组的最小元素。 例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转，该数组
- 【深度学习】非常详细 | 用 Pytorch 理解卷积网络
- echarts 配置项 series 中的data 多维度
- 用友t3远程无法找到远程计算机,用友远程通安装打印常见问题
- 六世班禅仓央嘉措的诗
- 监控车辆的历史行驶轨迹有何意义？TSINGSEE车载监控平台助力运输安全监管
- 动态规划之最小编辑距离问题
- 【QT开发笔记-基础篇】| 第五章 绘图QPainter | 5.14 平移、旋转、缩放
- JMS的原版PDF（翻译）
- FOJ Problem 2257 Saya的小熊饼干