Mac Hadoop的安装与配置
这里介绍Hadoop在mac下的安装与配置。
安装及配置Hadoop
首先安装Hadoop
$ brew install Hadoop
配置ssh免密码登录
用dsa密钥认证来生成一对公钥和私钥:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
将生成的公钥加入到用于认证的公钥文件中:
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
接下来测试一下是否配置成功
$ ssh localhost
如果遇到connection refused之类的错误,检查一下mac是否开启远程登录功能,在系统偏好设置中可以设置。
配置Hadoop文件
core-site.xml文件配置如下:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml配置如下;
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
mapred-site.xml配置如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml配置如下:
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>
以上过程需要注意的是如果mapred-site.xml文件不存在,需要自己创建(可以复制一下mapred-site.xml.template文件再进行修改)
运行Hadoop样例程序
此部分内容主要参考自Setting up Hadoop 2.6 on Mac OS X Yosemite
- 进入Hadoop的目录,以mac系统为例目录为
/usr/local/Cellar/hadoop/2.7.2/libexec
然后格式化文件系统:
$ bin/hdfs namenode -format
- 启动NameNode和DataNode的守护进程。
$ sbin/start-dfs.sh
- 启动ResourceManager和NodeManager的守护进程。
$ sbin/start-yarn.sh
- 访问localhost:50070和localhost:8088测试是否正常。
- 创建hdfs目录:
$ bin/hdfs dfs -mkdir -p /user/robin/input
- 拷贝一些文件到input目录:
$ bin/hdfs dfs -put etc/hadoop input
- 运行样例: (下面命令中的hadoop版本号是2.7.2,根据你自己的hadoop版本修改版本号)
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
- 在localhost:50070中的Utilities标签下找到/user/robin目录,下载part-r-00000文件,可以看到其中内容如下所示:
4 dfs.class
4 dfs.audit.logger
3 dfs.server.namenode.
2 dfs.period
2 dfs.audit.log.maxfilesize
2 dfs.audit.log.maxbackupindex
1 dfsmetrics.log
1 dfsadmin
1 dfs.servers
1 dfs.replication
1 dfs.file
转载于:https://www.cnblogs.com/micrari/p/5716851.html
Mac Hadoop的安装与配置相关推荐
- Hadoop的安装与配置及示例程序wordcount的运行
前言 最近在学习Hadoop,文章只是记录我的学习过程,难免有不足甚至是错误之处,请大家谅解并指正!Hadoop版本是最新发布的Hadoop-0.21.0版本,其中一些Hadoop命令已发生变化,为方 ...
- hadoop的安装与配置(伪分布式模式安装)
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
- hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置(伪分布式环境)
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- MAC下Defect4J安装与配置
文章目录 一.数据集简介 二.安装和配置 1.多版本jdk如何配置 2.安装需要的包和命令 3.编译出错 三.参考资料 我使用的是2.0.0版本 项目官网:https://github.com/rju ...
- mac:Go安装和配置+GoLand安装和使用之完整教程
前言 作为一个go语言程序员,觉得自己有义务为go新手开一条更简单便捷的上手之路.纵使网上教程很多,但总不尽人意.go的入门门槛还是非常低的,无论是安装还是使用. go安装 go 语言支持以下系统: ...
- hadoop详细安装及配置
一.下载 http://hadoop.apache.org/?? hadoop官网 二.解压 注:使用管理员权限解压 三.配置环境变量 添加HADOOP_HOME配置:自己安装hadoop路径,我的是 ...
- Mac用户如何安装并配置eclipse,如何使用eclipse
确认是否安装了Java开发环境-JDK 打开iTerm或者mac自带的终端,输入 java -version 如果是下面这样返回了版本号就是已经安装过了 否则就先移步到我上一个博客安装并配置一下JDK ...
- Hadoop的安装与配置(非常重要)
官方的原生配置文档Hadoop3.1.0 HDFS的组成 NameNode secondaryNameNode DataNode 这是以主从模式来运行的,前两个在maser节点上,最后一个在slave ...
- 【Mac】nginx 安装与配置
目录 一. 问题 二. 安装 三. 配置 3.1 nginx.conf 3.2 代理服务器配置 3.3 域名映射 3.4 SSL/TLS 配置支持 3.4.1 自签名创建密钥文件和证书 3.4.2 n ...
最新文章
- 关于 hashcode 和 equals
- apache用户名和密码验证
- KDE Web开辟工具──KDE-Webdev
- 如何利用XShell隧道通过跳板机连接内网机器
- 腾讯全球数字生态大会进入倒计时,原生技术专场开放云报名
- pythonweb框架
- jstat命令(Java Virtual Machine Statistics Monitoring Tool
- Spring Boot基础学习笔记16:项目打包部署
- 微课|中学生可以这样学Python(2.2.1节):算术运算符
- Caffe傻瓜系列(7):solver优化方法
- 【干货】js 数组操作合集(前端自我修养)
- 计算机应用与篮球有关的文章,浅析计算机技术应用对高校篮球教学的作用与影响...
- python udp
- 使用cl编译器,将记事本写的c文件编译成dll和exe 步骤如下(记事本保存成.c)
- 超越网络的JavaScript
- 万用表测占空比怎么接_万用表的占空比是什么意思?
- 知识图谱可视化工具选型
- 常用python编程软件-现在编程软件有哪些?常用是哪一种?
- halcon 计算图像的反余弦值:acos_image
- RTCP(一): RR--Receiver Reports 接收者报告
热门文章
- 心电信号的PQRST模拟matlab代码(转载+自己调研汇总)
- AttributeError: 'StatusHandler' object has no attribute 'async_callback'
- ubuntu下面supertux2的玩法
- Django报错NameError: name 'ListView' is not defined
- mariadb设置root初始密码
- ID3的REP(Reduced Error Pruning)剪枝代码详细解释+周志华《机器学习》决策树图4.5、图4.6、图4.7绘制
- sublime突然中文乱码
- ab和jmeter进行GET/POST压力测试的使用心得和比较(转载,在ubuntu16.04下使用ab带json对centos7压力测试验证可用)
- pandas:数据规范化方法与python实现
- 拥抱变化——从Atlas到ASP.NET AJAX(1):下载安装总览