大数据小项目之电视收视率企业项目09--hive环境搭建
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用传统的数据管理系统,它是难以加工大型数据。因此,Apache软件基金会推出了一款名为Hadoop的解决大数据管理和处理难题的框架。
安装mysql
http://www.centoscn.com/mysql/2016/0315/6844.html
1)安装依赖
yum search libaio # 检索相关信息
yum install libaio # 安装依赖包
2)检查 MySQL 是否已安装
yum list installed | grep mysql
如果有,就先全部卸载,命令如下:
yum -y remove mysql-libs.x86_64
3)下载 MySQL Yum Repository(yum仓库)
地址为 http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
执行下载
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
如果提示-bash: wget: 未找到命令,请先执行 yum install wget 安装 wget
安装
4)如果没有wget下载对应的安装包
wget --->yum -y install wget
5)添加 MySQL Yum Repository
添加 MySQL Yum Repository 到你的系统 repository 列表中,执行
yum localinstall mysql-community-release-el7-5.noarch.rpm
6)验证下是否添加成功
yum repolist enabled | grep "mysql.*-community.*"
7)开始yum安装mysql
yum install mysql-community-server
8)开启
systemctl start mysqld
systemctl status mysqld 查看状态
9)验证 mysql
10)创建hive需要的数据库
在mysql上创建hive元数据库,并对hive进行授权
create database if not exists hive_metadata;
安装hive
1.上传安装包
apache-hive-2.1.0-bin
不同的版本有可能会安装失败,建议使用低版本,并且是稳定版的软件
2.解压
tar -xzvf apache-hive-2.1.0-bin.tar.gz -C /soft/
3.重命名或者创建软连接
ln -s apache-hive-2.1.0-bin hive
4.修改环境变量
sudo nano /etc/profile
export HIVE_HOME=/soft/hive
export PATH=$PATH:$HIVE_HOME/bin
5.环境变量起效果
source /etc/profile
修改配置文件
拷贝驱动mysql-connector-java-5.1.28.jar到 /soft/hive/lib
配置hive-site.xml
mv hive-default.xml.template hive-site.xml
vi hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.17.200:3306/hive_metadata?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
配置hive-env.sh和hive-config.sh
mv hive-env.sh.template hive-env.sh
vi /soft/hive/bin/hive-config.sh
export JAVA_HOME=/soft/jdk
export HIVE_HOME=/soft/hive
export HADOOP_HOME=/soft/hadoop
在hive-site.xml
${system:java.io.tmpdir}=/home/wang/hive/wang
${system:user.name}=wang
"system:java.io.tmpdir =/home/centos/hive/resource
创建数据库表到mysql里面
schematool -initSchema -dbType mysql
验证hive是否安装成功
直接输入hive命令,可以进入hive命令行
create table t1(id int)
select * from t1;
drop table t1;
转载于:https://www.cnblogs.com/wakerwang/p/9479344.html
大数据小项目之电视收视率企业项目09--hive环境搭建相关推荐
- 大数据小项目之电视收视率企业项目11
sqoop数据迁移 概述 sqoop是apache旗下一款"Hadoop和关系数据库服务器之间传送数据"的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS ...
- 大数据小项目之电视收视率企业项目07
maven搭建(前提是在你的Windows电脑上有Java,并且能用) 下图为maven官网(http://maven.apache.org/) 安装 Maven 之前要求先确定你的 JDK 已经安装 ...
- 大数据小项目之电视收视率企业项目12
因为环境不足,所以没有用flume收集日志,而是用的已经从别的渠道的日志 日志截图: 编写以下脚本,将收集的日志文件上传至HDFS #!/bin/bash#set java env export JA ...
- 大数据小项目之电视收视率企业项目10
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并 ...
- 大数据小项目之电视收视率企业项目04--完全分布式搭建
完全分布式搭建 前边已经修改完ip了,那么现在就开始搭建完全分布式了 1.修改主机名 hostname(查看主机名) sudo nano /etc/hostname(修改主机名) 2.修改hosts文 ...
- 大数据小项目之电视收视率企业项目05
通过hadoop自带的demo运行单词统计(测试) 在家目录下操作: 1)mkdir input 2)cd intput 3)echo "hello word" > file ...
- 大数据小项目之电视收视率企业项目06
hadoop常用的命令 hdfs dfs -mkdir -p /user/wang/hadoop 递归创建目录 hdfs dfs -ls /user 查看/user下内容 hdfs dfs -ls ...
- 大数据小项目之电视收视率企业项目01
一.VM安装(这个大家去百度吧....) 二.centos安装 版本:centos7 'https://jingyan.baidu.com/article/a3aad71aa180e7b1fa0096 ...
- 大数据小项目之电视收视率企业项目03
Yum的介绍 Yum 全称为 Yellow dog Updater, Modified,它是一个在线的软件安装命令. 他能够从指定的服务器自动下载RPM包并且安装,可以自动处理依赖性关系,并且一次安装 ...
最新文章
- 计算机网络或计算机基础知识点滴1
- 统计学-自然语言处理
- Java LocalDate类| minus()方法与示例
- C++工作笔记-设计普通类的格式,实现简单工厂中接口的定义
- 一个好端端的团队是如何被管理者搞垮的?
- c语言跳至表域跳几个字符,c语言学习最好资料.doc
- 算法高级(2)-多年以前的电脑算命是怎么回事?
- 学习SQL:INNER JOIN与LEFT JOIN
- JS获取鼠标的坐标和滚动条的位置
- java发送邮件带附件
- 使用迅捷的WDS功能,无线中继小米路由器
- 电子书籍检索下载很好的网站推荐
- SwiftUI内功之如何设计Struct和Class不要和陌生人说话
- Rockchip | Rockchip固件升级工具
- 初学计算机,我在疑惑些什么?
- 20200727《Flask进阶》——模块化程序(蓝本)
- 如何在微信环境中点击链接关注微信公众号
- EI索引!海口举办!ICIG 2021喊你来投稿啦
- 怎么实现在MindMapper中添加便笺
- 交直流DIN导轨电源行业调研报告 - 市场现状分析与发展前景预测(2021-2027年)
热门文章
- linux读取excel文件内容,如何读取EXCEL文件到内表
- python内置函数视频_建议你吃透 Python 的 68 个内置函数!(附Python 400集视频教程)...
- O2O之下,腾讯觊夺移动支付大数据,手Q支付出战支付宝
- React-native 开启DEBUG模式后应用闪退
- 漫画:骚操作系列(必须掌握的疯子找座问题)
- Android uiautomatorviewer无法启动
- 当当年中庆,百万自营图书大放价,又有羊毛可以薅了
- python 灰度改二值_python实现图片二值化及灰度处理方式
- 让耳机有个思想准备 趣谈煲耳机方法
- java mongodb json_java向mongoDB中插入Json