hadoop组件中的hive安装
2024-06-15 00:28:03
一、hive安装前提
1. 安装好一台纯净linux虚拟机
2. 安装好hadoop，用于练习一台就够，不需要集群
3. 安装好mysql
二、linux虚拟机配置
1.配置静态地址
vi /etc/sysconfig/network-scripts/ifcfg-ens33
2. 修改主机名
vi /etc/hostname
3.修改hosts
vi /etc/hosts
三、使用rpm安装mysql
1. 查看系统中是否有数据库
1.rpm -qa | grep mysql --查看是否存在mysql
2.rpm -qa | grep mariadb --查看存在mariadb
2.如果存在进行卸载
rpm -e --nodeps 软件名
3.下载wget，铜鼓wget下载mysql的repo源
yum install -y wget --下载wget
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm --下载mysql的repo数据源，选择好目录下载。
4.安装mysql-community-release-el7-5.noarch.rpm包
rpm -ivh mysql-community-release-el7-5.noarch.rpm
5.安装mysql
yum install mysql-server -y
6.对root用户进行授权，才能正常登录mysql
chown -R root:root /var/lib/mysql
7.重新启动MySQL服务
service mysqld restart
8.登录mysql，设置密码
mysql > use mysql;
mysql > update user set password=password('ok') where user='root';
9.可以为root添加远程连接的能力
GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "ok";
10.推出mysql，重新用用户密码登录
mysql -uroot -pok
11.查询编码格式，并修改成utf8
show variables like "%char%";
- mysql默认编码格式为：latin1
- 修改编码格式：
vi /etc/my.cnf
[client]
default-character-set = utf8
[mysqld]
skip-grant-tables
character_set_server = utf8
collation_server = utf8_general_ci
修改完再查询结果为
四、mysql连接sqlyg
点击连接之后
五、安装hive
1.hive安装包
链接：hive安装
提取码：r093
2. 将安装包放入linux系统相应位置
3. 解压安装包，并改名。
tar -zxvf hive-1.1.0-cdh5.14.2.tar.gz --解压hive
mv hive-1.1.0-cdh5.14.2 hive110 --改名
4.进入配置文件，创建hive-site.xml文件
cd hive110/conf ---进入配置文件目录
vi hive-site.xml ---创建hive-site.xml文件
文件内容：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>hdfs://mycluster/hive/warehouse</value><description>管理表存储的位置,可以是linux中的目录,也可以是相对于fs.default.name有关的目录</description></property><property><name>hive.metastore.local</name><value>true</value></property><!-- 指定hive元数据存储的MySQL地址 --><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://dag01:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value></property><!-- 元数据存储数据库的驱动 --><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><!-- 元数据存储数据库的用户名 --><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><!-- 元数据存储数据库的密码,(注:这里是mysql自己root用户的密码) --><property><name>javax.jdo.option.ConnectionPassword</name><value>ok</value></property><property><name>hive.server2.authentication</name><value>NONE</value></property><property><name>hive.server2.thrift.client.user</name><value>root</value></property><property><name>hive.server2.thrift.client.password</name><value>ok</value></property>
</configuration>
5.配置环境变量
vi /etc/profile
代码内容：
export JAVA_HOME=/opt/jdk1.8.0_221
export JRE_HOME=/opt/jdk1.8.0_221/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/soft/hive110
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin
里面有hadoop和Java的环境变量，自己可以根据自己情况做改变。
6.新建hive-env.sh文件: vi hive-env.sh,添加如下内容
export HADOOP_HOME=/opt/hadoop
export HIVE_HOME=/opt/hive110
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HIVE_AUX_JARS_PATH=/opt/hive110/lib
export JAVA_HOME=/opt/jdk1.8.0_221
export HIVE_CONF_DIR=/opt/soft/hive110/conf
7.修改hive-log4j.properties，配置hive的日志
1. 先改名：mv hive-log4j.properties.template hive-log4j.properties
2. 进入：vi hive-log4j.properties
3. 在20添加内容`hive.log.dir=/opt/soft/hive110/logs`
8.新建两个配置文件中指定的目录
mkdir /opt/soft/hive110/warehouse
mkdir /opt/soft/hive110/logs
9.将mysql-connector-java-5.1.48-bin.jar包拖到$HIVE_HOME/lib目录下
10.给hive文件赋权
chmod 777 /opt/hive
五、启动hive（需要先启动hdfs）
1.初始化mysql数据库
schematool -initSchema -dbType mysql
效果
连接mysql的sqlyg中会出现hive数据库
2.启动hive服务
hive --service hiveserver2 &
执行完不动，直接按回车就行。
3.启动hive
hive
4.启动beeline
beeline -u jdbc:hive2://192.168.222.160:10000
hadoop组件中的hive安装相关推荐
- hadoop组件---数据仓库(四)---hive常用命令
安装好hive的环境之后 我们可以尝试一些常用的命令,常用命令也可以作为平时工作中的速查手册. 进入hive控制台 首先需要知道hive的启动目录在哪,可以使用命令 whereis hive 启动hi ...
- hadoop集群搭建+hive安装
1.系统环境 VMware-workstation:VMware-workstation-full-16.2.3 ubuntu:ubuntu-21.10 hadoop:hadoop2.7.2 mysq ...
- hadoop，hbase，hive安装全记录
ort> failed on local exception 网上大部分说事使用hadoop 的21版本问题,但我用的是20的. 后来把hbase_home/lib(启动的时候会加载里面所有ja ...
- ssis组件_使用SSIS Hadoop组件连接到Apache Hive和Apache Pig
ssis组件 In our previously published articles in this series, we talked about many SSIS Hadoop compone ...
- XP 组件中没有IIS,如何添加IIS组件
在网上找了些资料,结合了一下,发现的确好用.不管是家庭版,还是被修改后的专业版,都可以试一下.[我是在被修改后的专业版上测试成功的],自己测试成功了,拿出来和大家分享一下,希望对大家有用.谢谢. 解决 ...
- 火狐 附加组件 中无java_关于Win10系统上火狐浏览器附加组件找不到的解决方法...
为了能在Win10系统上更好的使用火狐浏览器,有时候需要我们去找安装一些插件,而火狐浏览器本身也有自带一些插件,我们可以在Win10系统上对这些狐火浏览器自带组件进行操作,不过有些用户说,在Win10 ...
- hadoop组件之hive的安装配置
准备工作 1.已安装Mysql 给用户赋权限: grant all on *.* to root@'hadoop110'; flush privileges; 2.hive软件包 3.放入opt文件夹 ...
- HiveQL学习笔记（一）：Hive安装及Hadoop,Hive原理简介
本系列是本人对Hive的学习进行一个整理,主要包括以下内容: 1.HiveQL学习笔记(一):Hive安装及Hadoop,Hive原理简介 2.HiveQL学习笔记(二):Hive基础语法与常用函数 ...
- hadoop离线阶段（第十三节）数据仓库、hive简介、hive安装和hive的三种交互模式
目录 数据仓库 数据仓库的基本概念 数据仓库的主要特征 数据仓库与数据库区别 数据仓库分层架构 数据仓库元数据管理 Hive简介 什么是Hive Hive的特点 Hive架构 Hive与Hadoop的 ...
- 建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们
建立HBase的集群和HDInsight在Hadoop中使用Hive来查询它们 在本教程中,您将学习如何创建和查询HDInsight使用HiveHadoop的HBase的表.下列步骤描述: •如何使用 ...
最新文章
- JavaScript中substr()和substring的区别
- 用于文档上下文感知推荐的卷积矩阵分解
- 不会玩电脑怎么学计算机,不会玩电脑怎么学
- Oracle 数据库导入导出 dmp文件
- android linux网络连接,Android和Linux服务器之间的TCP连接
- 方差分析中的“元”和“因素”是什么？
- 容器编排技术 -- 从零开始k8s
- vue+vuex初入门
- python 如果你的年龄大于18_02Python基础
- ubuntu 下安装 face_recognition
- 豆瓣最新API-python
- 图论——最短路径之渡河问题
- USB总线-Linux内核USB3.0设备控制器之dwc3 gadget驱动初始化过程分析（五）
- linux下开启、关闭、重启mysql服务命令
- 归并排序（图解配代码）
- mysql 去除微秒_mysql的微秒补丁 - sihanjishu的个人空间 - 51Testing软件测试网 51Testing软件测试网-软件测试人的精神家园...
- 匹配追踪和正交匹配追踪
- Android群英传神兵利器读书笔记——第三章：Android Studio奇技淫巧
- Mongodb 数据库基本操作语句，结合 Node.js + express + mongoose （实现增、删、改、查，批量增加、修改等，创建临时表，多表查询......）
- .NET访问ORACLE心得：疯狂重启IIS，如有神助