mac Hadoop安装
mac hadoop安装
在mac上安装hadoop伪分布式
杜伟
目录
一、下载jdk...................................................................................... 1
二、配置hadoop................................................................................ 1
三、配置ssh,无密码登录.................................................................... 2
四、启动hadoop................................................................................ 3
五、环境配置...................................................................................... 4
一、 下载jdk
选择最新版本下载,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
安装完成之后,打开终端,输入java -version ,出现类似如下说明安装成功。
java version "1.8.0"
Java(TM) SE Runtime Environment (build 1.8.0-b132)
Java HotSpot(TM) 64-Bit Server VM (build 25.0-b70, mixed mode)
二、 配置hadoop
下载hadoop,自己可到官网下载稳定版本,本次搭建用的是hadoop-2.6.0
配置hadoop 里面hadoop-2.6.0/etc/hadoop文件夹四个文件(hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml)
下载完hadoop之后,把它解压到你想存放的文件夹,然后进入hadoop的etc/hadoop目录
1. 配置hadoop-env.sh
修改为:
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS=-server
即去掉前面的解释符#,mac的jdk安装在根目录Libray文件夹下面。
2. 配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/Users/duwei/software/hadoop-2.6.0/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
</configuration>
3. 配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
4. 配置hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/Users/duwei/software/hadoop-2.6.0/hdfs/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
三、 配置ssh,无密码登录
mac上已经ssh了,在终端输入ssh-keygen -t rsa命令,碰到需要输入密码的直接按enter健即可。出现如下成功
· Enter passphrase (empty for no passphrase):
· Enter same passphrase again:
· Your identification has been saved in /Users/jia/.ssh/id_rsa.
· Your public key has been saved in /Users/jia/.ssh/id_rsa.pub.
· The key fingerprint is:
· d4:85:aa:83:ae:db:50:48:0c:5b:dd:80:bb:fa:26:a7 jia@JIAS-MacBook-Pro.local
· The key's randomart image is:
· +--[ RSA 2048]----+
· |. .o.o .. |
· | =. . . ... |
· |. o. ... |
· | ... .. |
· | .... .S |
· | ... o |
· | ... . |
· |o oo. |
· |E*+o. |
· +-----------------+
在终端输入cd ~进入用户目录,再输入cd .ssh目录,输入命令
cp id_rsa.pub authorized_keys即可
四、 启动hadoop
1. 进入hadoop文件夹,用如下命令格式化
cd bin
./hadoop namenode –format
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = JIAS-MacBook-Pro.local/192.168.1.3
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
Re-format filesystem in /tmp/hadoop-jia/dfs/name ? (Y or N) Y
14/07/14 13:55:17 INFO namenode.FSNamesystem: fsOwner=jia,staff,everyone,localaccounts,_appserverusr,admin,_appserveradm,_lpadmin,com.apple.sharepoint.group.1,_appstore,_lpoperator,_developer,com.apple.access_screensharing,com.apple.access_ssh
14/07/14 13:55:17 INFO namenode.FSNamesystem: supergroup=supergroup
14/07/14 13:55:17 INFO namenode.FSNamesystem: isPermissionEnabled=true
14/07/14 13:55:17 INFO common.Storage: Image file of size 93 saved in 0 seconds.
14/07/14 13:55:17 INFO common.Storage: Storage directory /tmp/hadoop-jia/dfs/name has been successfully formatted.
14/07/14 13:55:17 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at JIAS-MacBook-Pro.local/192.168.1.3
************************************************************/
2. 启动hadoop守护进程
bin/start-all.sh
3. 停止hadoop守护进程
bin/stop-all.sh
五、 环境配置
~ cat .bash_profile
export JAVA_HOME=$(/usr/libexec/java_home -v 1.7)
export HADOOP_HOME=/Users/duwei/software/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
用如下命令使其生效
source ~/.bash_profile
mac Hadoop安装相关推荐
- 在Mac上安装Hadoop HA 高可
**Mac安装Hadoop HA高可 在Mac上安装Hadoop HA 高可用 配置环境: HA & Federation介绍 Hadoop 1.x与Hadoop 2.x Hadoop 2.x ...
- Mac下安装Hadoop
文章目录 01 引言 02 配置ssh环境 02 安装与配置Hadoop 03 启动Hadoop并验证 3.1 启动Hadoop 3.2 启动yarn服务 04 Hadoop sbin下的命令 01 ...
- ubuntu18.04下hadoop安装与集群配置
ubuntu18.04下hadoop安装与集群配置 hadoop安装_单机/伪分布式配置 环境 创建hadoop用户 更新apt 安装SSH.配置SSH无密码登陆 安装Java环境 安装 Hadoop ...
- mac下安装python3
mac下安装python3 1.先用brew search命令查看 brew search python3 结果如下所示: ==> Formulae boost-python3 python3 ...
- Hadoop安装及hdfs操作
** Hadoop安装及hdfs操作如下 ** 先安装完成了centos7,首先要对宿主机(windows)和虚拟机(centos7)的网络进行测试,保证虚拟机可以与宿主机互通. 在宿主机按下wind ...
- 最详细的Hadoop安装教程
最详细的Hadoop安装教程 前言 Hadoop 在大数据技术体系中的地位至关重要,Hadoop 是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远. 这是一篇 ...
- Mac下安装hive
文章目录 01 引言 02 Hive安装 03 配置hive元数据库 04 验证与运行hive 4.1 运行前准备 4.2 验证与运行 01 引言 hive本身是没有存储功能的,数据是存储在hadoo ...
- Hadoop安装及遇到问题解决——1.安装
本人的安装时完全参考林子雨老师的教程,转载自厦门大学数据库实验室 / 给力星 一.软件选择 Hadoop是基于Java语言开发的,具有很好跨平台的特性.Hadoop的所要求系统环境适用于Windows ...
- aac文件损坏修复软件_Mac不能安装非信任应用的解决方法 MAC软件安装必读 打不开身份不明的开发者?文件已损坏?...
1.mac不能安装非信任应用 的第一种情况 Mac打不开身份不明的开发者?不明开发者,文件已损坏? 提示不明开发者,文件已损坏解决方法 1.打开系统偏好设置-安全性与隐私 2.解锁 3.允许以下位置下 ...
最新文章
- Source Insight 经典教程
- Springboot 启动问题
- CentOS 7 firewall防火墙命令
- 在Spring Cloud中集成和使用CSE快速实现商业产品
- python123平台作业答案循环结构棋盘放米_python练习集100题(1-20)
- javascript GlobalEventHandlers
- rhel 6.4 增加光盘为yum repo
- 关于EasyUI在Datagrid里面将某一列设置为超链接并传递当前行的某一参数传递给打开的对话框。
- php cookbook怎么样,《PHP Cookbook》学习笔记(三)
- 人工鱼群算法解决TSP问题
- Win10设置定时关机命令简单介绍
- DICOM笔记-使用cmake编译DCMTK
- Unity获取安卓手机运营商,电量,wifi信号强度,本地Toast,获取已安装apk,调用第三方应用,强制自动重启本应用...
- python QQ聊天机器人,qqbot 使用简介
- centos7 搭建turn stun 服务器
- 华为初面+综合面试(技术面)
- ESP32远程OTA指令升级bin固件
- 《白帽子讲Web安全》8-文件上传漏洞
- 结合北斗PPP_B2b 导航电文进行精密定位(PPP)
- CSS中 *{ }、*zoom,各种 * 代表的意思
热门文章
- Android项目初始化数据的loding操作
- C#编写网络爬虫爬取网页流和图片
- 软件测试计划与测试分析报告,软件测试计划与测试分析报告.doc
- 计算机桌面运维工作案例,【桌面云案例专题】桌面云 R5问题处理指导书(For 一线服务/运维/管理员)...
- 中国传统颜色安卓App
- 计算机应用技术ul设计vr制作,如何开启VR作品UI设计之路
- iPhone和Android的区别,苹果手机用户和安卓用户使用的四大区别,你符合几个?...
- W801 W800 W806串口下载失败的原因
- 肚脐眼周围疼痛怎么回事,10种方法来预防
- 微型计算机互联的主要目的,2019年自学考试计算机应用基础试题(5)