两台ubuntu虚拟机环境下hadoop安装配置
即可进行安装。如果不能成功安装,可能是安装包出现了错误,可以多拖几次。本例是将路径安装在:/home/hadoop/jdk1.6.0.24
很多资料上写要设置环境变量,但是我是默认安装的,所以没有设置环境变量。如果路径安装不是默认的,可能要修改:
这里记一下环境变量的修改:
打开终端:$ sudo gedit /etc/profile
在打开的文件中写入:
#set java enviornment
JAVA_HOME=/usr/java/jdk1.6.0_24
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
保存退出。
2. 从apache官网下载hadoop安装包,以hadoop-0.20.2为例,将安装包解压:$sudo tar -zxvf /home/hadoop/hadoop-0.20.2.tar.gz
3.安装完之后
把Hadoop 的安装路径添加到环/etc/profile 中:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
4. 配置hadoop
hadoop 的主要配置都在hadoop-0.20.2/conf 下。
(1)在conf/hadoop-env.sh 中配置Java 环境(namenode 与datanode 的配置相同):
$ gedit hadoop-env.sh
$ export JAVA_HOME=/home/hadoop/jdk1.6.0.24
在两台虚拟机上都需要配置文件:map-site.xml,core-site.xml和hdfs-site.xml.简单配置如下:
(2)core-site.xml配置文件
内容配置如下所示:
hadoop.tmp.dir
/home/hadoop/tmp //hadoop 启动的临时文件夹的地址,你可以设在任何地方,只要你愿意。
fs.default.name
hdfs://202.118.212.4:9000
(3) hdfs-site.xml配置文件
内容配置如下所示:
view plaincopy to clipboardprint?
dfs.replication
1 // dfs的副本数,默认是3,如果
datanode少于3台,可改为1
(4) mapred-site.xml配置文件
配置内容如下所示:
view plaincopy to clipboardprint?
mapred.job.tracker 202.118.212.4:9001
slaves: 202.118.212.5
如果第二名称节点second namenode设在另外的机子上就写上那台机子的IP地址就可以了,也可以不设第二名称节点。
4 启动Hadoop
首先格式化namenode:
hadoop@ubuntu:~ $sudo cd /home/hadoop/hadoop-0.20.2/bin
进入hadoop-0.20.2/bin之后:$hadoop namenode -format
然后启动:$start-all.sh
用jps查看进程启动情况,也可以用web查看;
http://202.118.212.4:50030查看jobtracker
http://202.118.212.4:50070查看namenode
转载于:https://www.cnblogs.com/southdom/articles/5004587.html
两台ubuntu虚拟机环境下hadoop安装配置相关推荐
- macOS 环境下 Go 安装配置
macOS 环境下 Go 安装配置 1.下载安装包 2.配置环境变量 1.下载安装包 大家尽量选择 官网 下载,根据自己系统版本和位数选择需要的包 2.配置环境变量 安装完成后,需要我们手动配置一下环 ...
- macosx php环境,MacOSX环境下MAMP安装配置PHP的开发环境
本部分描述如何在 Mac 上安装 MAMP.将通过一个操作安装 Apache Web 服务器.MySQL 和phpMyAdmin,需要的朋友可以参考下 一.简单介绍: PHP 页需要通过 Web 服务 ...
- Linux环境下Redis安装配置步骤
在LInux下安装Redis的步骤如下: 1.首先下载一个Redis安装包,官网下载地址为:https://redis.io/ 2.在Linux下解压redis: tar -zxvf redis-2. ...
- Linux环境下nginx安装配置--淘宝Tengine
文章目录 前言 一.tengine是什么? 二.使用步骤 1.下载地址 2.解压 3.依赖安装 4.安装nginx 5.编译 6.启动 7.设置为系统服务 7.服务启动.停止.重启 总结 前言 随着公 ...
- DELF: DEep Local Features在windows10环境下的安装配置
以图搜图模式的图像检索是CBIR(基于内容的图像检索)任务中最难的一块,传统的基于SIFT.SURF.ORB的方法主要基于点结构特征和统计模型.DELF是google基于CNN框架提出的一种图像点特征 ...
- 6 个步骤,教你在Ubuntu虚拟机环境下,用Docker自带的DNS配置Hadoop | 附代码
作者 | tianyouououou 责编 | Carol 来源 | CSDN 博客 封图 | CSDN付费下载于视觉中国 最近,作者整理了一套Hadoop搭建方案.最后的镜像大小1.4G多,使用do ...
- Ubuntu虚拟机环境下安装Python3.6
打开设置共享文件夹,将下载后的Python源代码文件https://www.python.org/downloads/release/python-368/直接拖进Downloads目录下 解压缩 t ...
- (一)linux下hadoop安装配置
1.准备Linux环境 1.1关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkc ...
- Linux环境下Anaconda3安装配置pytorch
目录 1 安装anaconda 2 配置conda环境 2.1 一些常用conda命令 2.2 安装pytorch 1 安装anaconda https://blog.csdn.net/tomatt7 ...
最新文章
- kotlin Bean加载失败lateinit property has not been initialized
- C#中Action与delegate、EventHandler的差异
- 从引力波探测到RNA测序,AI如何加速科学发现
- PHP常用正则表达式汇总 [复制链接]
- ThinkPHP分页实例
- [转]Backup and restore history details
- 让人期待的Visual Studio 2010
- windows环境下 curl 安装和使用
- 帝国理工学院暑期学校 | 大数据与创新主题,郭院士领衔,全球Top10校级证书...
- 深度学习之图像识别基础篇——神经元与感知机
- 从电视主播到高考,人工智能还能干些什么
- oracle 查看最大连接数与当前连接数
- 系统学习深度学习(二十四)--WRN
- 解决跨浏览器兼容的CSS编码准则
- 在没有鼠标或键盘的情况下在 Mac 上如何启用蓝牙?
- JS版的bin2hex和hex2bin,支持汉字
- 网易云自动化爬虫方案,24小时爬取10万首音乐信息,30万条用户信息,100万个热评
- Allegro如何给铜皮导弧操作详解
- 编程经验:关于如何在自己的网站或博客添加CNZZ站长统计功能
- web前端读取串口数据
热门文章
- python注入_python的常见命令注入威胁
- 派工单系统 源码_「青鸟报修云」酒店设备报修管理系统
- 北师大版图形的旋转二教案_北师大2011课标版(闫金铎主编)初中物理八年级下册三、重力公开课优质课课件教案视频...
- swift文件服务器,Swift3一行代码将各种类型文件上传到服务器
- xp大容量u盘补丁_Win XP系统下载与安装(U盘)
- python项目了解_神级程序员都是这样来开源 Python 项目!今天算是涨知识了!
- java web乱码问题_如何解决JavaWeb乱码问题
- ssh 登陆mysql数据库_mysql命令行客户端如何通过ssh服务器连接数据库啊?
- 点云Las文件是什么?
- opencv学习笔记(二)