mac osx 系统 brew install hadoop 安装指南

brew install hadoop
配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动hdfs）和namenode的rpc通行端口
配置mapred-site.xml 中的map reduce通信端口
配置hdfs-site.xml 中的datanode 副本数。
格式化hdfs文件系统
启动Hadoop 和 yarn namenode datanode mapred , 即：运行 start_all.sh
（可选）在hdfs中创建当前用户的地址： hadoop fs -mkdir -p /user/fan
开工，web ui 地址默认为：http://localhost:50070。

遇到的问题：

一，如在hdfs -put ~/file fileonhdfs 时，出现error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir

原因是：

core-site.xml中设置的文件系统已满，需重新设置，并再次-format。
core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777

二，如在hadoop fs -ls . 命令时出现： ls: '.': No such file or directory'

请执行：

hadoop fs -mkdir -p /user/[current login user]

配置文件demo：

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml代码

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>

* hdfs-site.xml:

Xml代码

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

* mapred-site.xml:

Xml代码

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
</configuration>

其实这些都是基本配置，网上一大把。配置的值的说明可以参考这3个地址：

写道

http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

2.3）格式化hadoop的文件系统hdfs。执行命令 hadoop namenode -format

转载于:https://www.cnblogs.com/ToDoToTry/p/5348665.html

mac osx 系统 brew install hadoop 安装指南相关推荐

如何在Mac OSX 系统上安装 Vagrant
翻译&转载:http://sourabhbajaj.com/mac-setup/Vagrant/README.html 如何在Mac OSX 系统上安装 Vagrant 创建和配置轻量级.可重 ...
Mac osx系统中virtual box 中的Ubuntu系统的全屏显示问题解决
Mac osx系统中virtual box 中的Ubuntu系统的全屏显示问题解决一安装virtualBox工具安装失败其他尝试方法一安装virtualBox工具选择Insert Gue ...
Mac OSX系统下使用DosBox编写汇编
Mac OSX系统下使用DosBox编写汇编在这篇文章介绍了Win8.Win7下面如何设置DosBox进行汇编,今天在看下在Mac OSX下怎么搭建环境. 首先下载安装DosBox for mac版 ...
Mac 下使用brew install 报错： Error: Cowardly refusing to `sudo brew install'
Mac 下使用brew install 报错: localhost:infer-osx-v0.6.0 admin$ sudo brew install opam Error: Cowardly ref ...
技术宅星云的Mac OSX系统使用经验分享
技术宅星云的Mac系统使用经验分享系统维护 1.1 Mac OSX 卡顿严重 1.2 开启/禁止.DS_store文件生成 1.3 显示/隐藏系统文件夹 1.4 Mac OSX 开机启动项管理 1 ...
Mac系统brew install 安装报错 Error: Failure while executing
Mac安装Apache http服务器,brew install httpd 时报错报错信息如下: ==> Installing httpd dependency: nghttp2 ==> ...
Mac OSX系统下安装和删除程序
原文转载至:http://iaiai.iteye.com/blog/1374874 (一)删除Mac下的程序是不是很像我们所面对的Windows软件?Linux都提供包管理软件,通常只需要一个命令就 ...
Mac/OSX 系统如何采集扬声器（代码实现附源码）
总所周知由于版权问题,mac系统是无法通过api采集扬声器的音量的,一些录屏软件大多采用soundflower,lookloop等插件来实现扬声器的采集.soundflower这种免费的插件已经没人维 ...
“苹果Mac OSX系统出现持久开机加载”解决方案
操作步骤如下: step1:先关机,然后按开机键之后立马按住command+R,等待进入language界面. step2:按需求选择后,进入Mac OS实用工具界面. step3:连接上网络,选择重 ...
如何在Mac OSX系统下安装Tomcat
1. 下载Tomcat(地址:tomcat.apache.org),选择适合的版本(这里选择6.0.35),点击"Download",之后在新页面点击"Core下的&qu ...

mac osx 系统 brew install hadoop 安装指南

mac osx 系统 brew install hadoop 安装指南相关推荐

最新文章

热门文章