Hadoop2.6.0在MAC下伪分布安装

一、配置ssh，无密码登录

1、mac开启ssh

2. mac上已经ssh了，在终端输入ssh-keygen -t rsa命令，碰到需要输入密码的直接按enter健即可。以rsa算法，生成公钥、私钥对。出现如下成功

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /Users/jia/.ssh/id_rsa.

Your public key has been saved in /Users/jia/.ssh/id_rsa.pub.

The key fingerprint is:

d4:85:aa:83:ae:db:50:48:0c:5b:dd:80:bb:fa:26:a7 jia@JIAS-MacBook-Pro.local

The key's randomart image is:

+--[ RSA 2048]----+

|. .o.o .. |

| =. . . ... |

|. o. ... |

| ... .. |

| .... .S |

| ... o |

| ... . |

|o oo. |

|E*+o. |

+-----------------+

在终端输入cd .ssh 进入.ssh目录，输入命令。

cp id_rsa.pub authorized_keys

导入公钥，即可。

二、配置文件

所有配置文件，均在$HADOOP_HOME/etc/hadoop目录下

(1) hadoop-env.sh

添加以下信息：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_51.jdk/Contents/Home

export HADOOP_HOME=/Users/ycc/workspace/hadoop-2.6.0

export PATH=$PATH:$HADOOP_HOME/bin

export YARN_HOME=/Users/ycc/workspace/hadoop-2.6.0

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$YARN_HOME/etc/hadoop

(2) core-site.xml

<configuration></configuration>之间增加如下内容：

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

(3) yarn-site.xml

<configuration></configuration>之间增加如下内容：

<name>yarn.noCHdemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

(4)mapred-site.xml

默认/etc/hadoop文件夹下有mapred-site.xml.template文件，复制更改用户名mapred.xml

<configuration></configuration>之间增加如下内容：

<name>mapreduce.framework.name</name>

</property>

(5) hdfs-site.xml

<configuration></configuration>之间增加如下内容：

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/Users/xiaolan/Applications/hadoop-2.6.0/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file: /Users/ycc/workspace/hadoop-2.6.0/hdfs/data</value>

</property>

三、运行Hadoop

可以开始测试了：

1.先格式化hdfs

bin/hdfsnamenode –format

2、启动dfs、yarn

sbin/start-dfs.sh

sbin/start-yarn.sh

然后用jps查看java进程，应该能看到以下几个进程：

25361NodeManager
24931 DataNode
25258 ResourceManager
24797 NameNode
25098 SecondaryNameNode

还可以用以下命令查看hdfs的报告：

bin/hdfsdfsadmin -report 正常情况下可以看到以下内容

ConfiguredCapacity: 48228589568 (44.92 GB)
Present Capacity: 36589916160 (34.08 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:50010 (localhost)
Hostname: dc191
Decommission Status : Normal
Configured Capacity: 48228589568 (44.92 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 11638673408 (10.84 GB)
DFS Remaining: 36589867008 (34.08 GB)
DFS Used%: 0.00%
DFS Remaining%: 75.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Tue May 05 17:42:54 CST 2015

3、web管理界面查看

http://localhost:50070/

http://localhost:8088/

bin/hdfs dfs-mkdir /x

这样就在hdfs中创建了一个目录x

5、向hdfs中放入文件

bin/hdfs dfs-put README.txt /x

上面的命令会把当前目录下的README.TXT放入hdfs的/x目录中，在web管理界面里也可以看到该文件

6、WordCount验证

bin/hdfs dfs-mkdir /input

bin/hdfs dfs-put README.txt /input

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input/output

四、参考：

mac:http://wollt1992.blog.163.com/blog/static/57013456201411244394378

linux：图文教程，版本较老：

http://www.linuxidc.com/Linux/2013-01/77681p4.htm

http://www.cnblogs.com/kinglau/p/3794433.html

官网安装教程：

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

注：

据说可以忽略：WARN util.NativeCodeLoader: Unable to loadnative-hadoop library for your platform... using builtin-java classes whereapplicable：

http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos

Hadoop2.6.0在MAC下伪分布安装相关推荐

Hadoop1.2.0在MAC下伪分布安装
一:下载jdk 选择最新版本下载,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装完成之后,打开终端,输 ...
CentOS 6.5 伪分布安装
CentOS 6.5 伪分布安装软件准备 jdk-6u24-linux-i586.bin .hadoop-1.2.1.tar.gz.hadoop-eclipse-plugin-1.2.1.jar ...
hadoop的伪分布安装（低版本）
1.hadoop的伪分布安装 1.1.使用root用户,密码是hadoop登录的. 1.2.修改linux的ip地址操作:(1)在linux桌面的右上角图标,右击,选择Edit Connec ...
Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
Mac 下的软件安装 —— 从 pkg,dmg 到 brew,cask
本文转载自坚持编程_lyz 文章原链接https://www.jianshu.com/p/61f209cd0e91 且该作者转载自原作者Elsewhere**(但此链接已无法访问) http://co ...
MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB
2019独角兽企业重金招聘Python工程师标准>>> MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB 0.确保mac已经安装了HomeBrew ( ...
Hadoop伪分布安装及简单使用
如何安装Hadoop 参考: http://dblab.xmu.edu.cn/blog/install-hadoop/ 设置Hadoop环境变量 export HADOOP_HOME=/usr/loc ...
Mac下通过Anaconda安装Tensorflow
Mac下通过Anaconda安装Tensorflow Anaconda是一个基于python的科学计算平台,支持 Linux, Mac, Windows系统,提供了包管理与环境管理的功能,可以很方便地 ...

Hadoop2.6.0在MAC下伪分布安装

Hadoop2.6.0在MAC下伪分布安装相关推荐

最新文章

热门文章