WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录
文章目录
- 0. 常规解压安装,并添加环境变量
- 1. 下载并覆盖 bin 文件夹
- 2. 使VERSION文件的clusterID一致
- 3. 贴下单机配置
- 4. 测试 Hadoop
- 5. 安装Spark
环境:win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.7
0. 常规解压安装,并添加环境变量
1. 下载并覆盖 bin 文件夹
下载 hadooponwindows-master.zip
下载地址:https://pan.baidu.com/s/1o7YTlJO
将下载好的 hadooponwindows-master.zip 解压,将解压后的 bin目录下的所有文件直接覆盖Hadoop的 bin目录
2. 使VERSION文件的clusterID一致
Datanode启动问题 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool
原因是clusterID不一致删除tmp下的内容从/home/hdp/hadoop/name/current/VERSION 获得clusterID修改到/home/hdp/hadoop/data/current/VERSION修改保持一致,然后重启服务
3. 贴下单机配置
core-site.xml
<configuration><property><name>fs.default.name</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/D:/hadoop-2.7.7/data/tmp</value></property>
</configuration>
hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property> <name>dfs.namenode.name.dir</name> <value>file:/D:/hadoop-2.7.7/data/namenode</value></property> <property> <name>dfs.datanode.data.dir</name> <value>file:/D:/hadoop-2.7.7/data/datanode</value></property></configuration>
mapred-site.xml
<configuration><property><name>mapreduce.job.user.name</name><value>%USERNAME%</value></property><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>yarn.apps.stagingDir</name><value>/user/%USERNAME%/staging</value></property><property><name>mapreduce.jobtracker.address</name><value>local</value></property>
</configuration>
yarn-site.xml
<configuration><!-- nodemanager要求的内存最低为1024 --><property><name>yarn.nodemanager.resource.memory-mb</name><value>1024</value></property><property><name>yarn.nodemanager.resource.cpu-vcores</name><value>1</value></property>
</configuration>
D:\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd
更改1行
set JAVA_HOME=D:\Java\jdk1.8.0_281末尾追加4行
set HADOOP_PREFIX=%HADOOP_HOME%
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin
4. 测试 Hadoop
- 格式化,启动
hadoop namenode -format
start-dfs.cmd
start-yarn.cmd
- jps 查看进程
- 网页能打开
http://localhost:8088/cluster
http://localhost:50070
- 创建 hdfs 文件夹,并查看
hadoop fs -mkdir hdfs://localhost:9000/user/
hdfs dfs -ls /
5. 安装Spark
参考:https://blog.csdn.net/weixin_45092662/article/details/107490615
- 添加 环境变量 + Path
PS C:\Users\xxx> spark-shell.cmd
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark context Web UI available at http://windows10.microdone.cn:4040
Spark context available as 'sc' (master = local[*], app id = local-1619526523582).
Spark session available as 'spark'.
Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ `/ __/ '_//___/ .__/\_,_/_/ /_/\_\ version 2.4.7/_/Using Scala version 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_281)
Type in expressions to have them evaluated.
Type :help for more information.
WIN 10 安装 Hadoop 2.7.7 + Spark 2.4.7 记录相关推荐
- win 10 安装robomongo(studio 3T)
相关资源下载到官网:https://robomongo.org/ 1.如图选择download studio 3T,之所以选择这个而不是robo 3T单纯是因为功能和后期的支持.studio 3T基础 ...
- win 10 安装时候无法格式化分区,错误 0x80070057
@[TOC]win 10 安装时候无法格式化分区,错误 0x80070057 参考: https://www.partitionwizard.com/partitionmagic/windows-co ...
- win 10 安装IIS localhost 或 127.0.0.1 出现空白
今天Win 10 安装 IIS 服务后页面刷新 localhost 出现空白,后查阅多方文档,有的说是重定向,HTTP错误等,实验均不成功,后发现只要勾选静态内容即可.
- Win 10安装Microsoft .NET Framework 3.5
电脑重新安装系统后,CAD2007突然安装不上了,Win 10系统,64位,提示需要NET Framework 3.5,折腾了好长时间,记录一下过程. 准备工作:先下载两个文件"dotNet ...
- win 10 安装单点Spark+Hadoop+Python环境
软件版本 python 3.6.8 下载网址 java 1.8.0_221 下载网址 spark-2.4.4-bin-hadoop2.7.tgz 下载网址 hadoop 2.7.6 下载网址 winu ...
- Windows(win)10安装JDK并配置环境变量(附网盘下载地址)
一.首先咱们先获取JDK8的安装包 1.可以直接去oracle官网获取JDK:https://www.oracle.com/technetwork/java/javase/downloads/inde ...
- Win 10 安装detectron2 详细手册
参考这篇编译成功: win10下 安装 Detectron2(0.4) (VS2019 + cuda11 + pytorch1.8)_J.-CSDN博客_win10安装detectron2 vs201 ...
- Docker Win 10 安装
最近了解了一下Docker,不看不知道,一了解就完全被它给吸引住了.以往要装个环境,除了要准备一个Linux系统,然后在安装各种版本的类库,再安装我们需要各种应用服务(如Redis,Ngix,Mong ...
- [深度学习] OpenVINO开发:Win 10 安装及卸载
1. 安装OpenVINO 官方文档:Install and Configure Intel® Distribution of OpenVINO™ toolkit for Windows* 10 1. ...
最新文章
- aix-syslog
- 新入公司 问问题 ,快速了解代码的方法
- sqlserver往oracle写数据,Sqlserver连接oracle进行读写数据库
- LeetCode_349. 两个数组的交集
- RTC 融合通信服务架构与场景应用 | 2021稀土开发者大会音视频专场
- linux使用kolorpaint对图片进行反色
- 微云 linux_编年史与微云
- 手把手教你用java完成文件、图片下载
- Oracle的安装、配置与工具使用 实验笔记一
- 数人云CTO解读Docker 1.12和金融业容器化
- [NowCoder]牛客网NOIP赛前集训营-提高组(第六场)题解
- sort()基本用法
- codeforces 615B. Longtail Hedgehog
- python计算机视觉库_荐 python计算机视觉入门
- B站 下载版权保护视频
- Datawhale组队学习周报(第030周)
- android 系统安装教程视频,PC也能用安卓 X86系统装安卓视频教程
- mysql 与文件系统_MySQL文件系统
- Python脚本实现淘宝秒杀
- [iOS]判断设备是否越狱
热门文章
- pcie1 4 速度_太阳系行星们谁转得最快?八大行星自转速度排行榜,地球排第五...
- 机器学习之凸优化原理推导及相关知识总结
- linux ssh yum升级_Linux 运维必备的 13 款实用工具,拿好了
- python中交换a和b的值_交换A和B之间的元素以获得和相等
- qlabel可以选中吗_惊现凡尔赛式排版!原来微信公众号排版样式还可以“变装”?...
- unity2d随机生成物体_2020 年最好用的一键生成设计神器,全在这里了!
- windows下修改tomcat的startup.bat脚本文件后台运行
- 《鸟哥的Linux基础》
- 代理模式——HeadFirst设计模式学习笔记
- 实用crontab命令