Linux安装Hive并测试
一、Node2节点配置
二、Master节点配置
三、Node1节点配置
四、启动Hive并测试
下载Hive包:https://cloud.189.cn/t/zqaieevYNrau (访问码:c10p)
下载mysql-jar包:https://cloud.189.cn/t/2IzYzuARVzQ3 (访问码:nc8j)
下载result.json文件:https://cloud.189.cn/t/FjmUJ3NbiMza (访问码:3ev9)
下载moivescsv.csv文件:https://cloud.189.cn/t/UvUBFzb2q6ba (访问码:8pk4)
一、Node2节点配置
Node2节点执行：
首先在windows中传输mysql-connector-java-5.1.5-bin.jar到node2
1、安装mysqld/mariadb服务(建议使用离线源)
[root@node2 ~]# yum -y install mariadb-server
2、启动mysql服务，并设置开机自启
[root@node2 ~]# systemctl start mariadb
[root@node2 ~]# systemctl enable mariadb
3、初始化mysql并设置密码并测试登陆mysql
[root@node2 ~]# mysql_secure_installation
4、Node2将jar包发给node1
[root@node2 ~]# scp mysql-connector-java-5.1.5-bin.jar node1:/root
二、Master节点配置
Master节点执行操作
1、传输tar包到master节点
使用SecureFX进行传输
2、Master创建文件夹并解压hive压缩包，并将tar包传输给node1
[root@master ~]# mkdir -p /usr/hive
[root@master ~]# tar -zxf apache-hive-2.3.7-bin.tar.gz -c /usr/hive
[root@master ~]# scp apache-hive-2.3.7-bin.tar.gz node1:/root
3、Master修改环境变量并验证
[root@master ~]# vi /etc/profile
[root@master ~]# source /etc/profile
master配置客户端
4、更换jar包
[root@master ~]# cp /usr/hive/apache-hive-2.3.7-bin/lib/jline-2.12.jar /opt/bigdata/hadoop-3.0.0/lib
5、添加hive-site.xml
[root@master ~]# cd /usr/hive/apache-hive-2.3.7-bin/conf
[root@master conf]# vi hive-site.xml
<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value></property><property><name>hive.metastore.local</name><value>false</value></property><property><name>hive.metastore.uris</name><value>thrift://node1:9083</value></property>
</configuration>
三、Node1节点配置
Node1节点操作
1、Node1将jar包复制到lib中
[root@node1 ~]# cp mysql-connector-java-5.1.5-bin.jar /usr/hive/apache-hive-2.3.7-bin/lib
2、Node1复制配置文件
[root@node1 ~]# cd /usr/hive/apache-hive-2.3.7-bin/conf
[root@node1 conf]# cp hive-env.sh.template hive-env.sh
3、Node1添加环境变量
在hive-env.sh中添加hadoop的目录
[root@node1 conf]# vi hive-env.sh
在首行添加
HADOOP_HOME=/opt/bigdata/hadoop-3.0.0
4、Node1创建hive-site.xml文件
[root@node1 ~]# cd /usr/hive/apache-hive-2.3.7-bin/conf
[root@node1 conf]# vi hive-site.xml
<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive_remote/warehouse</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://node2:3306/hivecreateDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>000000</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property>
</configuration>
四、启动Hive并导入json/csv格式文件进行测试
##### 启动hive
[root@node1 ~]cd /usr/hive/apache-hive-2.3.7-bin/
[root@node1 apache-hive-2.3.7-bin]bin/hive
创建result表，并导入数据
hive>create table result(json string);
hive>load data local inpath ‘/root/result.json’ into table result;
hive>select * from result;
创建moives表，并导入数据，查询
hive> create table movies(a string,b string,c string,d string,e int)> row format serde> 'org.apache.hadoop.hive.serde2.OpenCSVSerde'> with> SERDEPROPERTIES> ("separatorChar"=",")> STORED AS TEXTFILE;
hive> load data local inpath '/root/moviescsv.csv' into table movies;
Linux安装Hive并测试相关推荐
- linux安装php并测试,PHPunit安装及使用
安装并使用PHPunit Linux 下安装PHPunit PHP 档案包 (PHAR) 要获取 PHPUnit,最简单的方法是下载 PHPUnit 的 PHP 档案包 (PHAR),它将 PHPUn ...
- linux安装hive教程
1安装mysql 1.1 在线安装 apt-get install mysql-server 1.2 启动mysql服务 service mysql start 1.3 登录mysql(默认无密码登录 ...
- Redis第二集：Linux下安装Redis和测试，包含命令代码和问题处理办法，超详细版
Redis第二集:Linux下安装Redis和测试,包含命令代码和问题处理办法,超详细版 一.资源 Linux下的Redis的下载地址 二.安装与测试 上传至自己的Linux平台 解压安装包 tar ...
- linux安装oracle 操作系统内核参数 aio,Linux安装Oracle 11G过程（测试未写完）
一.简介 Oracle数据库在系统运维中的重要性不言而喻,通过熟悉Oracle的安装来加深对操作系统和数据库知识的了解.Linux安装Oracle前期修改linux内核参数很重要,其实就是linux下 ...
- linux安装ftp服务并测试访问
在linux中下载并安装FTP服务器 环境介绍: 虚拟机:VMware Workstation 11.0 cenOS系统 一.前述 Linux搭建ftp服务器用于程序实现上传和下载功能...... * ...
- linux安装部署Hive详细教程
目录 1.Hive介绍 2.先决条件 3.软件包下载 4.解压安装包到指定的目录 1.Hive介绍 hive是一个构建数据仓库的工具,只需要在一台服务器上安装就可以了,不需要在多台服务器上安装. 2. ...
- Centos Linux 单机安装 Hive 、使用 Hive
Centos Linux 单机安装 Hive .使用 Hive 视频教程链接:https://www.bilibili.com/video/BV1Rv4y117NR/ 1. Hive 简介 hive ...
- windows linux 并发,Windows/Linux安装压力测试工具siege
Siege是一款高性能的Http压力测试工具. Siege支持身份验证.cookies.http.https和ftp协议. Linux安装Siege 如果要支持https,需要先下载安装openssl ...
- Linux安装 VMware tools 工具的方法(转,已测试成功)
Linux安装 VMware tools 工具的方法 VMware虚拟机中如何安装VMWare-Tools详解好处:可以支持图形界面,可以支持共享文件功能等 1 工具/原料 1)安装过虚拟机软件的计算 ...
最新文章
- xxx is not in the sudoers file.This incident will be reported.的解决方法
- python剑指offer跳台阶_【剑指offer】跳台阶I和II(Javapython)
- Java 7试用资源
- Windows 不能在 本地计算机 启动 SQL Server 服务 错误代码126
- 在图像中截取小图并保存
- 全网首发：怎样制作CDKEY（3）-加密
- Linux 命令查询工具
- Python零基础学习笔记（六）—— 变量和常量
- windows大文件查找清理工具wiztree
- 节能减排社会实践 与科技竞赛作品申报书
- [FMG]ADT-eclipse升级为可以添加javaWeb
- PYTHON第二次实验
- 亿级数据服务平台：跟低效率、指标难统一的数仓说再见！
- java的配置环境简介配置教学
- ANSYS APDL学习(2)：如何将obj文件或stl文件导入ANSYS APDL
- linux中查看文件中的特殊字符方法：
- 黑马程序员------毕老师视频笔记第22天------图形化编程（2）
- PHP Apache Mysql的配置搭建及多站点配置
- 趣谈Linux操作系统随笔——2.0 从BIOS到bootloader：创业伊始，有活儿老板自己上
- android 快盘接口,金山快盘Android正式版今日上线