Windows 安装Hadoop和spark
1 安装hadoop
下载hadoop
下载地址
下载之后解压,然后
下载winutils对应hadoop版本替代hadoop/bin目录
配置环境:
在路径…\hadoop-2.8.3\etc\hadoop下修改文件
(1) core-site.xml(配置默认hdfs的访问端口)
<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
(2) hdfs-site.xml(设置复制数为1,即不进行复制。namenode文件路径以及datanode数据路径。)
<configuration><property><name>dfs.replication</name><value>1</value></property><property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/data/dfs/datanode</value> </property>
</configuration>
(3) 将mapred-site.xml.template 名称修改为 mapred-site.xml 后再修改内容(设置mr使用的框架,这里使用yarn)
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>
(4) yarn-site.xml(这里yarn设置使用了mr混洗)
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
</configuration>
(5) hadoop-env.cmd
设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错!)
移动java修改变量参考
set JAVA_HOME=C:\Java\jdk1.8.0_131
(6) 进入…\hadoop-2.8.3\bin目录,格式化hdfs
在cmd中运行命令 hdfs namenode -format
(7) 进入…\hadoop-2.8.3\sbin目录
在cmd中运行命令
start-all.cmd
(8) 在浏览器地址栏中输入:http://localhost:8088查看集群状态。
2 安装spark
.下载Scala
设置环境变量,同java,hadoop环境变量设置
安装后在cmd中输入scala出现如下提示表示成功
进入spark-2.3.3-bin-hadoop2.7\bin,cmd中输入spark-shell
可能报的错,找不到hadoop
Windows 安装Hadoop和spark相关推荐
- 安装Hadoop及Spark(Ubuntu 16.04)
安装Hadoop及Spark(Ubuntu 16.04) 安装JDK 下载jdk(以jdk-8u91-linux-x64.tar.gz为例) 新建文件夹 sudo mkdir /usr/lib/jvm ...
- ubuntu server安装hadoop和spark,并设置集群
安装server请看本人的上一篇博客 Ubuntu Server 20.04.2 安装 先前准备工作 创建 hadoop用户 创建用户之后,输入一下指令重启 shutdown -r now 登录 ha ...
- Ubuntu从零安装 Hadoop And Spark
安装 linux 以Ubuntu为例 选择镜像,虚拟机安装 虚拟机下,直接安装镜像即可,选择好自己的配置,一定要注意路径名选好,而且和你虚拟机的名称匹配,这里我的镜像是 ubuntu-20.04.2. ...
- 大数据开发之windows安装hadoop教程
第一步 安装JDK 第二步 安装Hadoop 下载hadoop地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 2. 下载ha ...
- windows安装hadoop流程
在windows中安装hadoop其实很简单,下面我们一起来看一下 首先我们要下载一个hadoop的压缩包, hadoop-3.2.2 这是hadoop的官网下载地址,也可以自行选择其他版本 下载完成 ...
- windows安装hadoop教程
第一步:安装JDK1.8 菜鸟教程连接:https://www.oracle.com/java/technologies/javase-downloads.html 第二步:安装hadoop 1.下载 ...
- windows安装hadoop教程,带截图
1:下载hadoop资源,链接:https://pan.baidu.com/s/19KVtjOCCwu9bEleRCWNGWA 提取码:6666 2:解压hadoop资源,我是解压到D盘根目录 ...
- Windows安装 hadoop 环境
1.需要安装 Java 环境 2.下载 hadoop https://archive.apache.org/dist/hadoop/common/ 3.解压 hadoop 压缩包 (如:将下载好的压缩 ...
- windows 安装 spark 及 pycharm 调试 TopN 实例
2019独角兽企业重金招聘Python工程师标准>>> 首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark o ...
最新文章
- chosen.jquery.js 有搜索功能、多选功能的下拉框插件
- 数组元素替换_LeetCode 题解 | 189. 旋转数组
- SAP WM中阶Storage Type的Capacity Check – Check based on maximum quantity per bin in storage type.
- IBM推出可加快响应跨云网络威胁的开放技术 业界首次实现跨安全工具和跨云的搜索威胁功能,无需移动数据
- 《设计模式详解》行为型模式 - 观察者模式
- 均值滤波python实现_python手写均值滤波
- 单线程实现同时监听多个端口(windows平台c++代码)
- 第四期coding_group笔记_用CRF实现分词-词性标注
- Python脚本覆盖率分析方法介绍
- FreeTextBox的使用
- sentinel卫星_常用的遥感卫星数据(一)哨兵
- Android根据包名获取APP名称
- sagemath matlab,sagemath 是否真的好用?还是隐藏了大坑?
- 高端疫苗的新冠疫苗二期数据发表;药明生基新建工艺研发和商业化生产中心投运 | 医药健闻...
- echart改变折线图和折线点的颜色以及折线点的大小
- 陈世涛:鼠标滚轮引起的画面上下跳动问题处理 跳行怎么办?
- win10商店下载主题壁纸提取
- 如何跳过b站的充电鸣谢?
- 显卡告别3D游戏迈向通用计算时代
- 美团2019编程汇总
热门文章
- android开发读书笔记
- ironbot智能编程机器人_智能编程机器人-IronBot!_硬件测评心得_ZNDS
- 华为云迁移工具推荐最佳实践:KVM虚拟化迁移到华为云
- [Windows10]启用Win10家庭版远程桌面和设置多用户同时登陆步骤详解
- 苹果手机找不到服务器为什么,为什么iphone连不上电脑 多种解决方法【图文教程】...
- 修改linux用户密码(passwd)
- Python自定义排序详解
- 到底什么是Upnp?[转载]
- 谈一谈JavaScript中的数组
- java中this的两个作用