winpythonhadoop_win10下配置hadoop2.9(使用python单机运行任务)
先期准备:
java环境已安装
着手开始:
1、下载hadoop稳定版:http://hadoop.apache.org/->左边点Releases->点mirror site->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz 点击即可下载。
2、解压并配置hadoop环境,新建HADOOP_HOME和修改PATH。
3、进入解压后目录的etc/hadoop/中,修改配置4个文件:
core-site.xml
fs.defaultFS
hdfs://localhost:9000
hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
file:/hadoop/data/dfs/namenode
dfs.datanode.data.dir
file:/hadoop/data/dfs/datanode
dfs.http.address
0.0.0.0:50070
mapred-site.xml
mapreduce.framework.name
yarn
yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
4、格式化nodename再启动hadoop:
启动windows命令行窗口,进入hadoop-2.9.0\bin目录,执行下面2条命令,先格式化namenode再启动hadoop。
bin/hadoop namenode -format
sbin/start-all.cmd
检查验证
使用jps命令查看
9568 ResourceManager
10676 Jps
9576 NodeManager
10316 NameNode
通过jps命令可以看到4个进程都拉起来了,到这里hadoop的安装启动已经完事了。接着我们可以用浏览器到localhost:8088看mapreduce任务,到localhost:50070->Utilites->Browse the file system看hdfs文件。如果重启hadoop无需再格式化namenode,只要stop-all.cmd再start-all.cmd就可以了。
管理界面:http://localhost:8088
mapreduceJob界面:http://localhost:50030(2.0+新端口是8088)
HDFS 文件系统界面:http://localhost:50070(3.0+新端口是9870)
运行例子(wordcount)
hdfs上新建文件夹:
hadoop fs -mkdir /hdfs_in
查看hdfs上的文件夹是否建立成功:
hadoop fs -ls /
上传txt文件:
hadoop fs -put ./* /hdfs_in
运行hadoop内置示例wordcount任务
hadoop jar E:\toolsoftware\hadoop-2.8.3\share\hadoop\mapreduce\hadoop-mapreduce-examples-*.jar wordcount /hdfs_in /hdfs_out
使用python运行wordcount任务(不加file参数也行)
hadoop jar E:\toolsoftware\hadoop-2.8.3\share\hadoop\tools\lib\hadoop-streaming-2.8.3.jar -D stream.non.zero.exit.is.failure=flase -file E:/toolsoftware/hadoop/test/code/mapper.py -mapper "C:\Python36\python3.exe E:\toolsoftware\hadoop\test\code\mapper.py" -file E:/toolsoftware/hadoop/test/code/reducer.py -reducer "C:\Python36\python3.exe E:\toolsoftware\hadoop\test\code\reducer.py" -input /hdfs_in -output /hdfs_out
若运行失败,需要先删除输出文件夹
hadoop fs -rmr /hdfs_out
问题汇总
问题1:datanode启动不起来。
在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。
winpythonhadoop_win10下配置hadoop2.9(使用python单机运行任务)相关推荐
- notepad++配置java,c,c++,python,shell运行环境
本文转自 http://blog.csdn.net/freewaywalker/article/details/8005468 javapythonc#microsoftpathjdk 如果只是测试小 ...
- Linux 下配置 Hadoop2.x 高可用 zookeeper Yarn,详细步骤。
此系列文章是探索大数据道路的记录,有些记录是为了备忘,有些记录是为了学习心得内容,有些是为了给大家提供一个好的学习资料.持续更新中-大家也可以到我的私人blog查看该系列文章.blog.cutexim ...
- emacs python plugin_Windows上配置Emacs来开发Python及用Python扩展Emacs
Windows下配置Emacs来开发Python去年在网上偶然的一个机会知道了Emacs的存在,在周围前辈们都在夸赞Sublime好用的时候,喜欢跟大众唱反调的我,突然觉得如果能用Emacs来编代码, ...
- python脱离环境运行_python 生成exe脱离python环境运行
1. 简介 python 程序编写完之后需要进行打包成exe发布,不暴露源码,目前主要打包的工具有三种: 1) PyInstaller(推荐) 2) cx_Freeze 3) py2exe PyIns ...
- Windows下配置单机Hadoop环境
Windows下配置单机Hadoop环境 文章目录 Windows下配置单机Hadoop环境 下载Hadoop 下载配置文件 配置环境变量 初始化HDFS 启动Hadoop 关闭Hadoop 常见错误 ...
- python的开发环境有哪些系统_Win10下配置机器学习python开发环境
近期计划写一写机器学习微信小程序的开发教程,但微信开发工具只提供了Windows和Mac OS版本,作为一名长期使用Linux系统的开发人员,虽然始终认为Linux系统才是对开发者最友好的,但微信团队 ...
- 在MAC OS 下配置python + Flask ,并支持pyCharm编辑器
https://www.cnblogs.com/lgphp/p/3841098.html 在MAC OS 下配置python + Flask ,并支持pyCharm编辑器 flask是一个micro ...
- Linux、Mac、windows 系统下 配置Python虚拟环境 virtualenvwrapper教程,workon切换环境, 非常简单方便
前言 开发及测试过程中每个环境都有各自的作用,避免破坏其他环境所以建议每个项目新建一个虚拟环境,经过对比最终我选择了virtualenvwrapper来作为我开发中虚拟环境管理工具,接下来一起来看一下 ...
- python编辑器windows_windows下sublime Text 3 做Python编辑器 详细配置
1.安装Python下载Python安装文件:https://www.python.org/downloads/本次配置测试版本是2.7.8运行下载的msi安装文件即可完成安装,默认安装路径C:\Py ...
最新文章
- 深入浅出换肤相关技术以及如何实现
- scrapy-splash抓取动态数据例子六
- 数据结构 栈的实例应用,括号匹配
- highlightjs 详解
- LeetCode 70.爬楼梯(动态规划)
- java面笔试_java笔试手写算法面试题大全含答案
- 设计模式之GOF23工厂模式02
- Struts框架面试题
- JavaScript中的加密解密
- QSS(Qt样式表)概念
- random.sample函数
- mmo服务器 性能测试,【Zinx应用-MMO游戏案例-(5)构建项目及用户上线】Golang轻量级并发服务器框架...
- 运动蓝牙耳机哪个品牌最好、运动蓝牙耳机排行榜推荐
- Attribute value is quoted with “ which must be escaped when used within the value 问题解决
- 买菜App综合服务水平排行:盒马、多点、每日优鲜排前三
- 谨以此篇文章开启我的博客生涯
- Veritas NetBackup即时恢复VMware虚拟机操作方法
- Unity 插件免费分享——需要自取——更新于2022.9.7
- 企业安全风险管理—应对风险
- swal()弹窗多个按钮