Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。

安装mysql

http://www.centoscn.com/mysql/2016/0315/6844.html

1)安装依赖

yum search libaio  # 检索相关信息

yum install libaio # 安装依赖包

2)检查 MySQL 是否已安装

yum list installed | grep mysql

如果有,就先全部卸载,命令如下:

yum -y remove mysql-libs.x86_64

3)下载 MySQL Yum Repository(yum仓库)

地址为 http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

执行下载

wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm

如果提示-bash: wget: 未找到命令,请先执行 yum install wget 安装 wget

安装

4)如果没有wget下载对应的安装包

wget --->yum -y install wget

5)添加 MySQL Yum Repository

添加 MySQL Yum Repository 到你的系统 repository 列表中,执行

yum localinstall mysql-community-release-el7-5.noarch.rpm

6)验证下是否添加成功

yum repolist enabled | grep "mysql.*-community.*"

7)开始yum安装mysql

yum install mysql-community-server

8)开启

systemctl start  mysqld

systemctl status  mysqld 查看状态

9)验证 mysql

10)创建hive需要的数据库

在mysql上创建hive元数据库,并对hive进行授权

create database if not exists hive_metadata;

安装hive

1.上传安装包

apache-hive-2.1.0-bin

不同的版本有可能会安装失败,建议使用低版本,并且是稳定版的软件

2.解压

tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft/

3.重命名或者创建软连接

ln -s apache-hive-2.1.0-bin hive

4.修改环境变量

sudo nano /etc/profile

export HIVE_HOME=/soft/hive

export PATH=$PATH:$HIVE_HOME/bin

5.环境变量起效果

source /etc/profile

修改配置文件

拷贝驱动mysql-connector-java-5.1.28.jar到 /soft/hive/lib

配置hive-site.xml

mv hive-default.xml.template hive-site.xml

vi hive-site.xml

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://192.168.17.200:3306/hive_metadata?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hive</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive/warehouse</value>

</property>

配置hive-env.sh和hive-config.sh

mv hive-env.sh.template hive-env.sh

vi /soft/hive/bin/hive-config.sh

export JAVA_HOME=/soft/jdk

export HIVE_HOME=/soft/hive

export HADOOP_HOME=/soft/hadoop

在hive-site.xml

${system:java.io.tmpdir}=/home/wang/hive/wang

${system:user.name}=wang

"system:java.io.tmpdir =/home/centos/hive/resource

创建数据库表到mysql里面

schematool -initSchema -dbType mysql

验证hive是否安装成功

 

直接输入hive命令,可以进入hive命令行

create table t1(id int)

select * from t1;

drop table t1;

转载于:https://www.cnblogs.com/wakerwang/p/9479344.html

大数据小项目之电视收视率企业项目09--hive环境搭建相关推荐

  1. 大数据小项目之电视收视率企业项目11

    sqoop数据迁移 概述 sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS ...

  2. 大数据小项目之电视收视率企业项目07

    maven搭建(前提是在你的Windows电脑上有Java,并且能用) 下图为maven官网(http://maven.apache.org/) 安装 Maven 之前要求先确定你的 JDK 已经安装 ...

  3. 大数据小项目之电视收视率企业项目12

    因为环境不足,所以没有用flume收集日志,而是用的已经从别的渠道的日志 日志截图: 编写以下脚本,将收集的日志文件上传至HDFS #!/bin/bash#set java env export JA ...

  4. 大数据小项目之电视收视率企业项目10

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并 ...

  5. 大数据小项目之电视收视率企业项目04--完全分布式搭建

    完全分布式搭建 前边已经修改完ip了,那么现在就开始搭建完全分布式了 1.修改主机名 hostname(查看主机名) sudo nano /etc/hostname(修改主机名) 2.修改hosts文 ...

  6. 大数据小项目之电视收视率企业项目05

    通过hadoop自带的demo运行单词统计(测试) 在家目录下操作: 1)mkdir input 2)cd intput 3)echo "hello word" > file ...

  7. 大数据小项目之电视收视率企业项目06

    hadoop常用的命令 hdfs dfs -mkdir -p /user/wang/hadoop  递归创建目录 hdfs dfs -ls /user 查看/user下内容 hdfs dfs -ls ...

  8. 大数据小项目之电视收视率企业项目01

    一.VM安装(这个大家去百度吧....) 二.centos安装 版本:centos7 'https://jingyan.baidu.com/article/a3aad71aa180e7b1fa0096 ...

  9. 大数据小项目之电视收视率企业项目03

    Yum的介绍 Yum 全称为 Yellow dog Updater, Modified,它是一个在线的软件安装命令. 他能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装 ...

最新文章

  1. 计算机网络或计算机基础知识点滴1
  2. 统计学-自然语言处理
  3. Java LocalDate类| minus()方法与示例
  4. C++工作笔记-设计普通类的格式,实现简单工厂中接口的定义
  5. 一个好端端的团队是如何被管理者搞垮的?
  6. c语言跳至表域跳几个字符,c语言学习最好资料.doc
  7. 算法高级(2)-多年以前的电脑算命是怎么回事?
  8. 学习SQL:INNER JOIN与LEFT JOIN
  9. JS获取鼠标的坐标和滚动条的位置
  10. java发送邮件带附件
  11. 使用迅捷的WDS功能,无线中继小米路由器
  12. 电子书籍检索下载很好的网站推荐
  13. SwiftUI内功之如何设计Struct和Class不要和陌生人说话
  14. Rockchip | Rockchip固件升级工具
  15. 初学计算机,我在疑惑些什么?
  16. 20200727《Flask进阶》——模块化程序(蓝本)
  17. 如何在微信环境中点击链接关注微信公众号
  18. EI索引!海口举办!ICIG 2021喊你来投稿啦
  19. 怎么实现在MindMapper中添加便笺
  20. 交直流DIN导轨电源行业调研报告 - 市场现状分析与发展前景预测(2021-2027年)

热门文章

  1. linux读取excel文件内容,如何读取EXCEL文件到内表
  2. python内置函数视频_建议你吃透 Python 的 68 个内置函数!(附Python 400集视频教程)...
  3. O2O之下,腾讯觊夺移动支付大数据,手Q支付出战支付宝
  4. React-native 开启DEBUG模式后应用闪退
  5. 漫画:骚操作系列(必须掌握的疯子找座问题)
  6. Android uiautomatorviewer无法启动
  7. 当当年中庆,百万自营图书大放价,又有羊毛可以薅了
  8. python 灰度改二值_python实现图片二值化及灰度处理方式
  9. 让耳机有个思想准备 趣谈煲耳机方法
  10. java mongodb json_java向mongoDB中插入Json