Linux中安装配置hadoop集群
原文:http://www.cnblogs.com/lijingchn/p/5574476.html
一. 简介
参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功。下面就把详细的安装步骤叙述一下。我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本。(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明)
二. 准备工作
2.1 创建用户
创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好。
1 sudo adduser hadoop 2 sudo vim /etc/sudoers 3 # 修改内容如下: 4 root ALL = (ALL)ALL 5 hadoop ALL = (ALL)ALL
给hadoop用户创建目录,并添加到sudo用户组中,命令如下:
1 sudo chown hadoop /home/hadoop 2 # 添加到sudo用户组 3 sudo adduser hadoop sudo
最后注销当前用户,使用新创建的hadoop用户登陆。
2.2 安装ssh服务
ubuntu中默认是没有装ssh server的(只有ssh client),所以先运行以下命令安装openssh-server。安装过程轻松加愉快~
sudo apt-get install ssh openssh-server
2.3 配置ssh无密码登陆
直接上代码:执行完下边的代码就可以直接登陆了(可以运行ssh localhost进行验证)
1 cd ~/.ssh # 如果找不到这个文件夹,先执行一下 "ssh localhost" 2 ssh-keygen -t rsa 3 cp id_rsa.pub authorized_keys
注意:
这里实现的是无密登陆自己,只适用与hadoop单机环境。如果配置Hadoop集群设置Master与Slave的SSH无密登陆可以参考我的另一篇博文:http://www.cnblogs.com/lijingchn/p/5580263.html
三. 安装过程
3.1 下载hadoop安装包
有两种下载方式:
1. 直接去官网下载:
http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
2. 使用wget命令下载:
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
3.2 配置hadoop
1. 解压下载的hadoop安装包,并修改配置文件。我的解压目录是(/home/hadoop/hadoop-2.7.1),即进入/home/hadoop/文件夹下执行下面的解压缩命令。
tar -zxvf hadoop-2.7.1.tar.gz
2. 修改配置文件:(hadoop2.7.1/etc/hadoop/)目录下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml。
(1). core-site.xml 配置:其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。
<configuration><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>
(2). mapred-site.xml.template配置:
<configuration><property><name>mapred.job.tracker</name><value>localhost:9001</value></property></configuration>
(3). hdfs-site.xml配置: 其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置,最好在hadoop.tmp.dir的目录下面。
注意:如果运行Hadoop的时候发现找不到jdk,可以直接将jdk的路径放置在hadoop-env.sh里面,具体如下:
export JAVA_HOME="/opt/java_file/jdk1.7.0_79",即安装java时的路径。
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/hadoop/tmp/dfs/data</value></property></configuration>
配置完成后运行hadoop。
四. 运行hadoop
4.1 初始化HDFS系统
在hadop2.7.1目录下执行命令:
bin/hdfs namenode -format
出现如下结果说明初始化成功。
4.2 开启 NameNode
和 DataNode
守护进程
在hadop2.7.1目录下执行命令:
sbin/start-dfs.sh
成功的截图如下:
4.3 使用jps命令查看进程信息:
若出现如图所示结果,则说明DataNode和NameNode都已经开启。
4.4 查看web界面
在浏览器中输入 http://localhost:50070 ,即可查看相关信息,截图如下
至此,hadoop的环境就已经搭建好了。
五. 运行wordcount demo
1. 在本地新建一个文件,里面内容随便填:例如我在home/hadoop目录下新建了一个haha.txt文件,里面的内容为" hello world! "。
2. 然后在分布式文件系统(hdfs)中新建一个test文件夹,用于上传我们的测试文件haha.txt。在hadoop-2.7.1目录下运行命令:
# 在hdfs的根目录下建立了一个test目录 bin/hdfs dfs -mkdir /test# 查看HDFS根目录下的目录结构 bin/hdfs dfs -ls /
结果如下:
3. 将本地haha.txt文件上传到test目录中;
# 上传 bin/hdfs dfs -put /home/hadoop/haha.txt /test/ # 查看 bin/hdfs dfs -ls /test/
结果如下:
4. 运行wordcount demo;
# 将运行结果保存在/test/out目录下 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/haha.txt /test/out # 查看/test/out目录下的文件 bin/hdfs dfs -ls /test/out
结果如下:
运行结果表示:运行成功,结果保存在part-r-00000中。
5. 查看运行结果;
# 查看part-r-00000中的运行结果 bin/hadoop fs -cat /test/out/part-r-00000
结果如下:
至此,wordcount demo 运行结束。
六. 总结
配置过程遇到了很多问题,最后都一一解决,收获很多,特此把这次配置的经验分享出来,方便想要配置hadoop环境的各位朋友~
(Hadoop集群安装配置过程基本和单机版是一样的,主要是在配置文件方面有所区别,以及ssh无密登陆要求master和slave能够互相无密登陆。具体的配置可以参考:http://www.linuxidc.com/Linux/2015-02/113486.htm)
参考:
http://www.tuicool.com/articles/bmeUneM
Linux中安装配置hadoop集群相关推荐
- Linux centos 6配置hadoop 集群搭建笔记教程
一.安装JDK 1.上传jdk-8u121-linux-x64.tar.gz文件到/opt目录 2.解压jdk文件 tar -zxvf jdk-8u121-linux-x64.tar.gz -C /u ...
- FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了. 性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器 ...
- FreeBSD下安装配置Hadoop集群(三)
先给自己做个广告: 开源Hive管理工具phpHiveAdmin今日更新0.05 beta2 ChangeLog: 1. sql查询页全部重写,复杂查询现在可以用异步非阻塞的方式实时的查看map/re ...
- FreeBSD下安装配置Hadoop集群(一)
Hadoop其实本身是Linux下开发的应用,不过得益于虚拟机技术,也可以运行在其他平台.例如FreeBSD. 不过,Linux用的好好的,为什么用FreeBSD呢? 这个问题的回答其实比较复杂,基于 ...
- FreeBSD下安装配置Hadoop集群(四)
前面说过了NameNode,DataNode的配置方法,这次说Secondary的配置方法.hadoop为实现高可用,支持配置失效备份的Namenode,这样当主的Namenode挂掉了之后,可以从S ...
- Windows下安装Cygwin配置Hadoop集群
Hadoop集群一般是配置到Linux系统之上,如果电脑用的是Windows系统,那么可以通过虚拟机安装Linux系统或者在Windows上安装Cygwin来模拟Linux环境,从而搭建Hadoop集 ...
- 学习笔记Hadoop(七)—— Hadoop集群的安装与部署(4)—— 配置Hadoop集群
四.配置Hadoop集群 Hadoop集群总体规划 Hadoop集群安装采用下面步骤: 在Master节点:上传并解压Hadoop安装包 . 在Master节点:配置Hadoop所需configura ...
- 使用yum安装CDH Hadoop集群
使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 ...
- mysql在ibm上安装教程_在ibm服务器上安装配置MySQL集群的方法
在ibm服务器上安装配置MySQL集群的方法 2014-07-13 16:45来源:中国存储网 导读:本文只是介绍安装和配置,关于一些名词和原理,请参考MySQL手册.一.环境:IBM x3560Vm ...
最新文章
- 快速理解Token,Cookie,Session
- 茶香账簿小程序开发进度(1)
- hibernate 管理 Session(单独使用session,非spring)
- How to resolve syntax error in CL_IM_CMS_SI_GEN_INTF
- 【Oracle】锁表查询与解锁
- JadClipse eclipse反编译插件
- MySQL 数据库导出导入操作
- excel高级筛选怎么用_excel中使用高级筛选7个示例、多个条件、复制到另一个工作表公式...
- [Ext JS 7]ClassRequire错误解决
- Understand-4.0.877-Linux-64bit.tgz最新版本2017年源代码阅读利器,养眼theme之配置
- IP地址如何分的五类
- 微信支付商户号申请详细流程介绍
- 在计算机基础这门课程中可以学到什么,计算机基础个人总结
- 各个电脑品牌BIOS快捷启动热键
- python 中的switch
- 面向模式的软件体系结构(卷1-5
- Smartbi数据报表系统,国内性价比最高的报表工具
- 《 Python List列表全实例详解系列(三)》——列表添加元素(4种方法)
- 技术 | 有道CEO周枫:NVidia Volta GPU深度学习性能提升近10倍
- 蓝牙XY-MBD07A与XY-MBT58A互连
热门文章
- 3 账套升级u8_用友U8条码管理的应用对仓库有什么好处?
- 前后端分离项目_七个开源的 Spring Boot 前后端分离项目,一定要收藏
- 万能素材库_高中作文经典人物万能素材积累
- clickhouse 同步mysql_ClickHouse和他的朋友们(9)MySQL实时复制与实现
- 以云原生的名义,举办一次技术聚会
- 使用 IDEA 解决 Java8 的数据流问题,极大提升生产力!!
- 每日一皮:当我在重构时,总是有惊喜出现.......
- 微软 WinGet 抄袭 AppGet 始末,个人开源的困境该如何破?
- 2020,微服务之死?
- java窗口怎么实现修改密码_【求助】Java中如何实现更改windows密码