大家早上好,本人姓吴,如果觉得文章写得还行的话也可以叫我吴老师。欢迎大家跟我一起走进数据分析的世界,一起学习!

感兴趣的朋友可以关注我或者我的数据分析专栏,里面有许多优质的文章跟大家分享哦。


目录

  • 一定要先看的前言
  • 1 安装Hadoop
    • 1.1 下载并解压资源
    • 1.2 配置系统变量和环境变量
      • 1.2.1 系统变量
      • 1.2.2 环境变量
      • 1.2.3测试
    • 1.3 复制文件
    • 1.4 修改配置文件
      • 1.4.1 创建目录
      • 1.4.2 修改5个文件
    • 1.5 格式化HDFS
    • 1.6 开启四个进程
    • 1.7 测试Hadoop DFS
  • 2 安装Hive MySQL版本
    • 2.1 下载并解压资源
    • 2.2 配置系统变量和环境变量
      • 2.2.1 系统变量
      • 2.2.2 环境变量
    • 2.3 Hive config配置
    • 2.4 创建目录
    • 2.5 修改 hive-env.sh
    • 2.6 修改hive-site.xml
    • 2.7 在Hadoop上创建HDFS目录
    • 2.8 创建MySQL数据库
    • 2.9 启动Hadoop
    • 2.10 启动Hive metastore服务
    • 2.11 启动Hive
  • 结束语

一定要先看的前言

几个注意事项:

  1. 本篇博客会提供所有安装需要的资源,大家下载我提供的资料就好,避免如版本不对应等不必要的问题出现;
  2. 在安装过程中会涉及一些环境配置,希望大家解压的目录地址最好和我的一样,这样既可以直接复制我提供的文本信息,也可以避免粗心导致的问题;
  3. 本篇博客会提供所有大家需要更改的文本,大家直接复制即可,不要自己手打了;
  4. 没装JDK的朋友可以先安装完再来。

1 安装Hadoop

1.1 下载并解压资源

链接:https://pan.baidu.com/s/1gSo09Tv8GytCt6dwCr3JNA
提取码:1024

下载完如下图解压即可,注意我这里是直接解压到E盘。

补充:原有的hadoop-2.7.7/bin目录下没有文件是winutils和hadoop.dll文件的,需要下载hadooponwindows-master并将其bin覆盖原先的bin,这里我提供的资源是已经覆盖了的,可省略该操作。

1.2 配置系统变量和环境变量

1.2.1 系统变量

变量名:HADOOP_HOME
变量值:E:\Hadoop\hadoop-2.7.7

1.2.2 环境变量


环境变量值:%HADOOP_HOME%\bin

1.2.3测试

打开CMD,输入hadoop,如下图则为配置成功。

1.3 复制文件

E:\Hadoop\hadoop-2.7.7\bin目录下的hadoop.dll复制到E:\Hadoop\hadoop-2.7.7\sbin以及C:\Windows\System32这两个目录下。


1.4 修改配置文件

1.4.1 创建目录

修改之前先创建以下几个空目录:
E:\Hadoop\hadoop-2.7.7\data
E:\Hadoop\hadoop-2.7.7\data\dfs
E:\Hadoop\hadoop-2.7.7\data\dfs\datanode
E:\Hadoop\hadoop-2.7.7\data\dfs\namenode

1.4.2 修改5个文件

第一个是E:\Hadoop\hadoop-2.7.7\etc\hadoop下的core-site.xml文件。

打开该文件,找到如下位置。

将红色部分的内容更改为如下内容:

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>


第二个是E:\Hadoop\hadoop-2.7.7\etc\hadoop下的hdfs-site.xml文件。

打开该文件,找到如下位置。

将红色部分的内容更改为如下内容,注意路径是否需要更改。

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.http-address</name><value>localhost:50070</value></property><property><name>dfs.namenode.dir</name><value>/E:/Hadoop/hadoop-2.7.7/data/dfs/namenode</value></property><property><name>dfs.datanode.name.dir</name><value>/E:/Hadoop/hadoop-2.7.7/data/dfs/datanode</value></property>
</configuration>

第三个是E:\Hadoop\hadoop-2.7.7\etc\hadoop下的mapred-site.xml.template文件。

打开该文件,找到如下位置。

将红色部分的内容更改为如下内容。

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapred.job.tracker</name><value>hdfs://localhost:9001</value></property>
</configuration>


改完记得将mapred-site.xml.template改名为mapred-site.xml。

第四个是E:\Hadoop\hadoop-2.7.7\etc\hadoop下的yarn-site.xml文件。

打开该文件,找到如下位置。

将红色部分的内容更改为如下内容。

<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>


第五个是E:\Hadoop\hadoop-2.7.7\etc\hadoop下的hadoop-env.cmd文件。

因为是cmd文件,所以我是用UE打开的,当然了大家可以先把后缀改成txt,修改完再更改回来。

具体来说,就是在文件的最后添加如下语句。

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=E:\JDK8


这里的E:\JDK8是我的JDK环境变量值,大家需要根据自己的进行更改,下图是查询方法。

1.5 格式化HDFS

打开CMD,输入hdfs namenode -format

1.6 开启四个进程

管理员身份打开CMD,切换到E:\Hadoop\hadoop-2.7.7\sbin目录下,输入命令:start-all.cmd


输入命令:jps测试是否开启成功。

1.7 测试Hadoop DFS

打开浏览器,在地址栏输入http://localhost:50070查看Hadoop状态

输入http://localhost:8088查看集群状态。

此时安装Hadoop成功。

2 安装Hive MySQL版本

2.1 下载并解压资源

官网下载:http://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
其他下载方式:
链接:https://pan.baidu.com/s/1Or5Q5EwD-RBx5bLHzfpI-Q
提取码:1024

下载完之后,直接解压到E盘,如图。

紧接着是下载MySQL驱动。

官网下载:https://dev.mysql.com/downloads/file/?id=476197

其他下载方式:
链接:https://pan.baidu.com/s/1cl8SY-c4uFyL8MLPKtk6PA
提取码:1024

下载完后,也是直接解压到E盘。

解压完,将E:\mysql-connector-java-5.1.46目录下的mysql-connector-java-5.1.46-bin.jar复制到E:\apache-hive-2.1.1-bin\lib目录下,如图所示。


2.2 配置系统变量和环境变量

2.2.1 系统变量

变量名:HIVE_HOME
变量值:E:\apache-hive-2.1.1-bin

2.2.2 环境变量

变量值: %HIVE_HOME%\bin

2.3 Hive config配置

如图,找到E:\apache-hive-2.1.1-bin\conf目录下的4个文件。

按照如下方式进行更改:

hive-default.xml.template -> hive-site.xml
hive-env.sh.template -> hive-env.sh
hive-exec-log4j2.properties.template -> hive-exec-log4j2.properties
hive-log4j2.properties.template -> hive-log4j2.properties

2.4 创建目录

创建以下几个空目录:
E:\apache-hive-2.1.1-bin\my_hive
E:\apache-hive-2.1.1-bin\my_hive\operation_logs_dir
E:\apache-hive-2.1.1-bin\my_hive\querylog_dir
E:\apache-hive-2.1.1-bin\my_hive\resources_dir
E:\apache-hive-2.1.1-bin\my_hive\scratch_dir

2.5 修改 hive-env.sh

找到E:\apache-hive-2.1.1-bin\conf下的hive-env.sh文件。

找到下图中的位置:

将其替换为如下内容:

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=E:\Hadoop\hadoop-2.7.7# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=E:\apache-hive-2.1.1-bin\conf# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=E:\apache-hive-2.1.1-bin\lib


注意路径问题。

2.6 修改hive-site.xml

这里需要修改的较多,我直接把我已经修改好的文件上传到网盘上,大家下载即可。

链接:https://pan.baidu.com/s/1p3cGCpRn7UUW96icyfUxEA
提取码:1024

这里需要注意的是,

你的Hive的解压路径是否和我一样,不一样就得更改,一共是4处。


然后还有连接数据库的问题,账号是否为root,密码是否为123456,端口是否为3306,如果不一样,就需要更改,如下。


2.7 在Hadoop上创建HDFS目录

命令如下(记得先启动Hadoop):
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

如图:

2.8 创建MySQL数据库

使用命令的方式:

create database if not exists hive default character set latin1;

或者用Navicat创建也可以。

2.9 启动Hadoop

以管理员身份打开CMD,切换到E:\Hadoop\hadoop-2.7.7\sbin命令下,输入命令start-dfs.cmd

2.10 启动Hive metastore服务

以管理员身份打开CMD,输入命令hive --service metastore

如果hive数据库下出现了许多表,则开启成功。


补充:只有第一次打开需要输入hive --service metastore

2.11 启动Hive

打开CMD,输入命令hive.cmd

这个时候就可以输入HQL语句啦。

我们输入一个create table stu(id int, name string)

然后再浏览器地址栏输入:http://localhost:50070/explorer.html#/user/hive/warehouse


创建表成功!

结束语

我已经尽可能地将安装过程详细地展现出来了,如果还是有问题的朋友,可以评论留下你的问题。

参考资料:
https://blog.csdn.net/qinlan1994/article/details/90413243
https://blog.csdn.net/chy2z/article/details/80974294

想接触数据分析实战项目和技能学习,可以关注我的数据分析专栏。

CSDN@报告,今天也有好好学习

【傻瓜式教程】Windows下安装Hive MySQL版【附安装Hadoop教程】全网最详细的图文教程相关推荐

  1. 用python画小仓鼠教程_看看萌萌哒的仓鼠是怎么画出来的,最详细的图文教程,别错过!...

    原标题:看看萌萌哒的仓鼠是怎么画出来的,最详细的图文教程,别错过! 仓鼠是一种非常可爱的小宠物,很多人都喜欢画仓鼠,今天就教大家用彩铅画一只萌萌哒的小仓鼠. 起好形后,先用压痕笔在仓鼠的身上压出毛发的 ...

  2. 【目标检测】K-means和K-means++计算anchors结果比较(附完整代码,全网最详细的手把手教程)

    写在前面: 首先感谢兄弟们的订阅,让我有创作的动力,在创作过程我会尽最大努力,保证作品的质量,如果有问题,可以私信我,让我们携手共进,共创辉煌. 一.介绍 YOLO系列目标检测算法中基于anchor的 ...

  3. 3dmax:3dmax经典案例详细步骤图文教程之镜头效果制作黄昏中打开的灯

    3dmax:3dmax经典案例详细步骤图文教程之镜头效果制作黄昏中打开的灯 目录 3damx经典案例详细步骤图文教程之镜头效果制作黄昏中打开的灯 3dmax经典案例详细步骤图文教程之镜头效果制作黄昏中

  4. 3dmax:3dmax经典案例详细步骤图文教程之飞出镜头的字母效果动画

    3dmax:3dmax经典案例详细步骤图文教程之飞出镜头的字母效果动画 目录 3dmax经典案例详细步骤图文教程之飞出镜头的字母效果动画 3dmax经典案例详细步骤图文教程之飞出镜头的字母效果动画

  5. windows下搭建Apache+Mysql+PHP开发环境

    原文:windows下搭建Apache+Mysql+PHP开发环境 要求 必备知识 熟悉基本编程环境搭建. 运行环境 windows 7(64位); Apache2.2; MySQL Server 5 ...

  6. Windows下 Apache+PHP5+MYSQL5+phpmyadmin 规范安装

    < Apache+PHP5+MYSQL5+phpmyadmin> Windows下 Apache+PHP5+MYSQL5+phpmyadmin 规范安装 (绝对原创)     装PHP规范 ...

  7. Windows下PostgreSQL 8.1版安装图解

    声明:发现文档不错,转发IT168文档,如有问题,请与我联系,感谢. [IT168 专稿]PostgreSQL是一套功能强大的对象-关系型数据库管理系统.经过十几年的发展, PostgreSQL 是世 ...

  8. Windows下VMware Workstations Pro15.5.0安装dmg镜像(macOS Catalina 10.15虚拟机)

    喜闻乐见.大快人心.普天同庆.奔走相告\color{red}喜闻乐见.大快人心.普天同庆.奔走相告喜闻乐见.大快人心.普天同庆.奔走相告 喜闻乐见.大快人心.普天同庆.奔走相告\color{red}喜 ...

  9. windows下命令启动mysql服务

    windows下命令启动mysql服务 以管理员身份运行dos 输入mysqld --install 再输入net start mysql 以管理员身份运行dos dos下找到mysql安装目录,进入 ...

最新文章

  1. Microbiome | 中科院张惠明团队揭示RNA介导的DNA甲基化影响植物根部微生物群落!...
  2. 转:PHP 获取今日、昨日、上周、本月的起始时间戳和结束时间戳的方法
  3. 【Linux】一步一步学Linux——dig命令(160)
  4. C语言实用算法系列之学生管理系统_单向链表内操作_提取排序规则
  5. vue2学习计划1-2 浏览器跨域问题
  6. 奇异值分解 本质矩阵_Singular Value Decomposition(奇异值分解)
  7. matlab gpu 编程 macOS,MATLAB GPU编程基础
  8. kube-proxy修改成ipvs模式
  9. 魔兽世界服务端linux,mmorpg魔兽世界服务器框架TrinityCore构建
  10. cvs数据格式 gps_CSV、TXT 和 GPX 文件
  11. ADB 环境变量配置教学
  12. 盖洛普 之 首先打破一切常规
  13. sap查看后台作业进度_SAP资产折旧运行 AFAB
  14. php被挂马,PHP网站被挂马防御战
  15. js中的Image对象
  16. python对于会计的好处_学好会计学的作用及意义
  17. 在线办公的前浪与后浪:输出工具到输出能力
  18. Altium Designer 20使用技巧
  19. Android模拟请求调页-广工操作系统课设
  20. 【渝粤教育】国家开放大学2018年秋季 8634-22T (1)Android智能手机编程 参考试题

热门文章

  1. PCB模块化设计24——DCDC电源模块PCB布局布线设计规范
  2. PAT乙级题解1003(超级详细分析,看完就懂)
  3. Android 增量升级原理及实现方式分享
  4. UMG使用UE的取色器/吸色器 SColorPicker
  5. 气象nc文件转为csv格式
  6. ERP学习之路BOM篇
  7. 使用 HBuilder X 将微信 小程序 项目 打包
  8. 2014年的奋斗目标
  9. 网管用计算机上岗证书,普通高中校园网计算机教室建设标准
  10. MAXwell应用报错提问: