秦疆 西部开源_Win10下安装Hadoop3.1.2详解
https://my.oschina.net/zengfr 文章内容已测试验证可用
即使再小的帆也能远航
西部开源-秦疆老师:Hadoop系列博客 , 秦老师交流Q群号: 664386224 , 未授权禁止转载!编辑不易 , 转发请注明出处!防君子不防小人,共勉!
Win10下安装Hadoop3.1.2详解
尝试在本地win10上安装hadoop,在官网选择了最新的hadoop版本,就是这里开始给自己挖了坑,对着网上的博客一顿操作,发现节点一直启动不成功。本着不放弃的原则,在不停的配置过程中继续折腾,终于解决问题。
安装环境
JDK 1.8
Windows10
Hadoop3.1.2
JDK 安装参考我之前Java的博客 :JDK安装详解
这里需要注意的如果jdk版本过高可能会带来问题
安装Hadoop
官网下载Hadoop3.1.2 :下载地址
解压到自定义的文件夹,我这里选择我的路径
F:\Environment\hadoop-3.1.2\hadoop
配置环境变量
JAVA_HOME : F:\Environment\java\jdk1.8.0_181
HADOOP_HOME : F:\Environment\hadoop-3.1.2\hadoop
path添加 :
%JAVA_HOME%\bin
%JAVA_HOME%\jre\bin
%HADOOP_HOME%\bin
检测是否安装成功
java -version
hadoop - version
出现以上信息说明安装成功 !
修改配置文件
需要修改的文件在解压后的目录下,F:\Environment\hadoop-3.1.2\hadoop\etc\hadoop
hadoop-env.cmd
用Notepad++ 打开hadoop-env.cmd文件
找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录
如果目录带有空格,可以通过下面两种方式处理:
这里以安装目录为C:\Program Files\Java\jdk1.8.0_181为例
因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:
只需要用PROGRA~1 代替Program Files,即改为C:\PROGRA~1\Java\jdk1.8.0_18
或是使用双引号改为 “C:\Program Files”\Java\jdk1.8.0_181
core-site.xml
fs.defaultFS
hdfs://localhost:9000
mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hahoop.mapred.ShuffleHandler
hdfs-site.xml
需要再hadoop解压的根目录下创建一个data文件夹,并在data下创建namenode和datanode两个子文件夹;
然后添加配置文件 :
dfs.replication
1
dfs.permissions
false
dfs.namenode.name.dir
/F:/Environment/hadoop-3.1.2/hadoop/data/namenode
fs.checkpoint.dir
/F:/Environment/hadoop-3.1.2/hadoop/data/snn
fs.checkpoint.edits.dir
/F:/Environment/hadoop-3.1.2/hadoop/data/snn
dfs.datanode.data.dir
/F:/Environment/hadoop-3.1.2/hadoop/data/datanode
配置文件修改完毕 !
替换bin文件
下载的Hadoop不支持Windows系统,需要替换bin目录下的文件方便在Windows上运行。这也是掉坑来的地方了!!!!
在网上下载到的hadooponwindows-master.zip 以及winutils中应该是只适合hadoop 3.0.0及其以下,尝试过hadooponwindows-master.zip以及winutils中最高的版本3.0.0,启动hadoop都会出现下面的错误:Error starting NodeManager、UnsatisfiedError
折腾了好久(低版本的hadoop还没下载完毕),终于找到3.1.0版本winutils,下载后直接替换掉hadoop目录下bin文件即可:
复制yarn的jar包
可以看到resourcemanager.ResourceManager: Error starting ResourceManager启动失败的日志
报了类TimelineCollectorManager找不到的错误。
解决方法:
F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn\timelineservice
将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.2.jar 包
复制到这个路径下 F:\Environment\hadoop-3.1.2\hadoop\share\hadoop\yarn 即可解决。
格式化HDFS文件系统
hdfs namenode -format
如果这一步没有什么异常基本没有问题了。
启动
进入hadoop的sbin目录
我这里在 : F:\Environment\hadoop-3.1.2\hadoop\sbin
# 启动
# 会自动开启四个新的命令行窗口,窗口没打印异常即启动成功
start-all
# 停止
stop-all
# 查看正在运行的实例进程及端口
jps
这四个窗口不能关闭 , 否则进程会结束
访问管理GUI
启动成功后,可以访问GUI页面
最后我们停止一下所有进程
结尾
运行结束后你会发现hadoop安装的磁盘根目录下多了一个tmp临时文件目录
里面有一些 Hadoop的缓存文件 , 可以酌情清理 !
编辑不易 , 转载注明出处 : 西部开源-秦疆 2019.07.06 00:47 更新
编辑不易,如果对您学习有用,希望可以动动手指转发出去!秦老师学习交流群:664386224
0
0
posted on 2019-07-06 00:20 狂神说 阅读(434) 评论(0) 编辑 收藏
注册用户登录后才能发表评论,请 登录 或 注册, 访问 网站首页。
导航
公告
昵称: 狂神说
园龄: 1年3个月
粉丝: 38
关注: 3
统计
随笔 - 31
文章 - 0
评论 - 3
我的标签
Powered by:
博客园
Copyright © 2019 狂神说
秦疆 西部开源_Win10下安装Hadoop3.1.2详解相关推荐
- linux centos7 mysql_Linux centos7环境下安装MySQL的步骤详解
Linux centos7环境下安装MySQL的步骤详解 安装MySQL mysql 有两个跟windows不同的地方 1).my.ini 保存到/etc/my.ini 2).用户权限,单独用户执行 ...
- tecplot脚本在Linux系统下运行,Linux系统下安装Tecplot的步骤详解
众所周知,Tecplot是Linux系统中的数据分析软件,Tecplot的功能正在变得更加完善,使用的人群也在逐渐增多.下面,我们就跟随U大侠小编一起来看看Linux系统下安装Tecplot的步骤详解 ...
- linux下redis安装教程,linux下安装配置redis图文详解
在linux系统下安装redis的详细步骤如下: 1. 首先下载一个redis安装包,下载地址:https://www.daixiaorui.com/source/13.html .也可以去官网下载最 ...
- Ubuntu 16.04或14.04里下安装搜狗输入法(图文详解)(全网最简单)
不多说,直接上干货! 其实啊,很简单 分三步走 1.添加fcitx的键盘输入法系统,因为sogou是基于fcitx的,而系统默认的是iBus: 2.安装sogou输入法: 3.设置系统参数及一些注意点 ...
- ubunntu安装php7.0_乌班图Ubuntu 16.04下安装PHP 7过程详解
前言 最近由于换了硬盘重装了(升级)系统到Ubuntu16.04之后,开发环境也要重新安装,其实16.04源里面默认的PHP版本就是7.x,但是有个问题就是没有OCI扩展,有项目需要使用到Oracle ...
- 深信服S5000-AC刷入 RouterOS 软路由 U盘PE下安装教程 (图文详解超详细)
1.首先打开深信服天灵盖,然后插入U盘.鼠标,接上VGA线至显示器. 2.进入PE后,按田字键→输入CMD后→按Enter键进入DOS. 3.切换到U盘所在的盘符下,然后按Enter键. 4.输入 p ...
- linux Centos 7 安装hadoop3.1.3 详解
一.准备工作 Linux环境:Centos 7 远程登陆:xShell 6 安装jdk并配置好环境变量 下载 hadoop-3.1.3.tar.gz 二.安装hadoop 1. 把下载好的hadoop ...
- Ubuntu server版本系统下安装显卡驱动过程详解
前期准备 确认系统是否需要可视化图形桌面,如果需要,安装完桌面之后再进行显卡驱动的安装.以下操作均需在root用户权限下操作 1.先更改国内安装源(如果是桌面版则可以直接修改aliyun的源,或者在s ...
- Windows下安装PyMysql(图文详解)
第一步,运行 cmd CD到你的python的安装目录 C:\>cd C:\Users\Administrator\AppData\Local\Programs\Python\Python38 ...
最新文章
- 几何图形在logo设计中的有哪些情感意义?
- 数据治理展示血缘关系的工具_Nebula Graph 在微众银行数据治理业务的实践
- Apache的压力测试以及web性能优化的常用知识总结
- SAP 解决长时间不操作掉线问题
- 【渝粤教育】国家开放大学2018年春季 0149-22T现代汉语 参考试题
- Qt学习笔记(持续更新)
- Github上的热门iOS开源项目:AFNetworking、MagicalRecord、BlocksKit以及XVim
- Chrome浏览器最新改版 Android P预览版和桌面版界面有变化
- 很气很气——在python中切换selenium中的窗口
- snmp error on SnmpMgrRequest 40
- 计算机辅助建筑制图规范,房屋建筑制图统一标准 [附条文说明] GB/T50001-2017
- SBCL 使用中文时的错误记录 --close 问题已经解决
- android http 本地 web服务(tomcat)
- 在mysql存储过程中拼接sql解决in的字段类型不匹配问题
- APS傻瓜教材读后感之为什么需要人机交互调度
- 测试两个主机之间的连通性_如何使用知行EDI系统模拟连通性测试?
- 信息系统项目管理师学习笔记
- 黑马点评项目-优惠券秒杀
- 各类编程开发网址分享
- as 贪食蛇小游戏(一)