Hadoop伪分布安装详解(四)
目录:
1.修改主机名和用户名
2.配置静态IP地址
3.配置SSH无密码连接
4.安装JDK1.7
5.配置Hadoop
6.安装Mysql
7.安装Hive
8.安装Hbase
9.安装Sqoop
********************
为什么要安装Mysql? 因为Hive的元数据和数据是分开存放的,数据存放在HDFS中,元数据默认存储在Derby数据库中。
但是由于Derby数据库只支持同时一个用户访问Hive,因此将数据库的配置更改为Mysql。
6.安装Mysql
(1)安装Mysql客户端:
yum install mysql
(2)安装Mysql服务器端:
yum install mysql-server yum install mysql-devel
(3)查看Mysql的状态
service mysqld status
# Mysql启动 service mysqld start# Mysql停止 service mysqld stop
(4)启动Mysql后,以root用户登录Mysql:
mysql -u root mysql> set PASSWORD FOR 'root'@'localhost'=PASSWORD('root') #设置密码rootmysql -u root -p
(5)创建数据库Hive,用来保存Hive元数据
create database hive
使用root用户操作hive中所有的表格
GRANT all ON hive.* TO root@'neusoft-master' IDENTIFIED BY 'hivepwd'flush privileges;select user,host from mysql.user
如下显示:
7.安装Hive
(1) 下载hive的安装包,并传到centos系统中,在对应目录解压即可
tar -zxvf /opt/hive-1.1.0-cdh5.6.0.tar.gz
(2)修改hive的配置文件/opt/hive-1.1.0-cdh5.6.0/conf,在conf目录下创建hive-site.xml
[root@neusoft-master conf]# cd /opt/hive-1.1.0-cdh5.6.0/conf/
[root@neusoft-master conf]# ll
total 20
-rw-r--r-- 1 1106 592 1139 Jan 29 2016 beeline-log4j.properties.template
-rw-r--r-- 1 1106 592 2459 Jan 6 21:09 hive-env.sh
-rw-r--r-- 1 1106 592 2662 Jan 29 2016 hive-exec-log4j.properties.template
-rw-r--r-- 1 1106 592 3505 Jan 29 2016 hive-log4j.properties.template
-rw-r--r-- 1 root root 740 Jan 6 21:36 hive-site.xml
[root@neusoft-master conf]# cat hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.local</name><value>true</value></property><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://neusoft-master:3306/hive?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>hivepwd</value></property>
</configuration>
如图:
(3)配置hive-env.sh
由于hive压缩包中只有hive-env.sh.template文件,因此需要复制一份文件并更改为hive-env.sh,如下命令:
cp hive-env.sh.template hive-env.sh
[root@neusoft-master conf]# vi hive-env.sh
export JAVA_HOME=/usr/java/default export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0
(4)移动jar包到hive的lib目录下
将Mysql的JDBC驱动jar包移动到hive-1.1.0-cdh5.6.0/lib下,否则hive不能成功连接mysql
JDBC的jar包应选择相应版本,如:mysql-connector-5.1.30.jar,这里不是下载mysql安装包,而是找到mysql启动包放进lib目录下。
(5)环境变量配置
vi /etc/profile #更改如下
export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.0 export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
source /etc/profile #环境变量生效
(6)验证安装
首先启动Hadoop和Mysql,在执行Hive
执行创建表结构:create table test(id int);
执行含有mapreduce的查询
补充:如果用户通过SecureCRT链接虚拟机,则会出现进入hive命令行后无法使用退格键的情况?
详细描述: 通过SecureCRT连接服务器,使用Hive时,不能用Backspace或delete时
解决方案:在选项里面有个会话选项--终端---仿真选项里面终端选择linux即可。
END~
转载于:https://www.cnblogs.com/jackchen-Net/p/6445690.html
Hadoop伪分布安装详解(四)相关推荐
- Hadoop伪分布安装详解(一)
注:以下截图针对Ubuntu操作系统,对Centos步骤类似.请读者选择不同镜像即可. 第一部分:VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubunt ...
- Hadoop伪分布安装及简单使用
如何安装Hadoop 参考: http://dblab.xmu.edu.cn/blog/install-hadoop/ 设置Hadoop环境变量 export HADOOP_HOME=/usr/loc ...
- Hadoop单机伪分布式安装详解
文章目录 写在开头的话 前提环境准备 配置JAVA环境 将jdk安装包传输至你的Linux宿主机中 操作jdk安装包,然后配置java环境 配置ssh免密登录 安装Hadoop,及其hadoop配置 ...
- 《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊
目录 Hadoop部署 部署组件 一.VMware部署安装 二.Ubuntu18.04.5版本的部署安装 三.安装VMware Tools 四.配置ssh免密登陆 五.Java环境安装 Hadoo ...
- Hadoop伪分布安装配置
安装环境: 系统:Ubuntu 14.10 64bit hadoop:2.5.1 jdk:1.8.0_11 安装步骤: 一.安装JDK 安装 jdk,并且配置环境以及设置成默认 sudo gedi ...
- linux hadoop 伪分布,linux配置Hadoop伪分布安装模式
1)关闭禁用防火墙: /etc/init.d/iptables status 会得到一系列信息,说明防火墙开着. /etc/rc.d/init.d/iptables stop 关闭防火墙 2)禁用SE ...
- Hadoop入门(Hadoop2.7.2源码编译与伪分布安装)
Hadoop概述- Hadoop简介 •什么是Hadoop 一个开源.高可靠.可扩展 的分布式计算框架• 解决的问题 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 分布式资源调度( ...
- Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
- hadoop的伪分布安装(低版本)
1.hadoop的伪分布安装 1.1.使用root用户,密码是hadoop登录的. 1.2.修改linux的ip地址 操作:(1)在linux桌面的右上角图标,右击,选择Edit Connec ...
最新文章
- 选笔记本选择CPU风扇散热的重要性
- 颠覆性Windows平台资源管理器,急速管理文件----闪电人生
- 使用 node.js 进行服务器端 JavaScript 编程
- 近期会将视频在线课堂移植ios,欢迎大家关注
- WPF中的图表设计器 – 2
- 使用Pytorch DataLoader快捷封装训练数据、测试数据的X与Y
- Windows Store App 音频和视频
- python自学要多久-python从入门到精通需要多久?你需要先明白这两个点
- Just Say It!——DNN在语音识别系统中的应用
- 大数据hadoop,spark,flink等经典电子书PDF下载
- word2016 无响应问题解决办法
- 任务态fMRI的实验设计方法及注意事项有哪些?—重温经典文章的点滴思考
- ReactNative运用插件react-native-amap-geolocation获取Android手机高德经纬度
- 亲测可用[转]官方17ce老毛子Padavan华硕固件router插件安装方法|集成不占空间k1斐讯k2...
- 阿里视频直播自定义推拉流地址生成
- MacBook Pro 完美分屏
- python中 {0:2.2f}与{1:2.2f}的区别
- Mac OS X 下 su 命令提示 sorry 的解决方法
- 我把皮小浪の的 蓝色妖姬系列做进了java窗口
- 响应式(自适应屏幕)