Hadoop 安装指南
一、安装JDK
1、用户可以在Oracle JDK的官网下载相应版本的JDK,本例以JDK 1.6为例,官网地址为http://www.oracle.com/tech-network/java/javase/downloads/index.html。
2、配置环境变量,在/etc/profile增加以下代码。
1 #Seeting JDK JDK环境变量 2 export JAVA_HOME=/opt/java/jdk/jdk1.7.0_79 3 export JRE_HOME=${JAVA_HOME}/jre 4 export CLASSPATH=${JAVA_HOME}/lib 5 export PATH=${JAVA_HOME}/bin:$PATH
输入java -version命令查看是否安装成功
二、配置SSH
一般linux系统都自带了SSH服务,如果没有SSH服务需要自己安装
1、查看是否安装SSH: ps
-e |
grep
ssh
如果没有显示sshd,说明没有安装ssh服务
2、通过 “sudo
apt-get
install
openssh-server
” 安装
$ sudo apt-get install openssh-server 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 有一些软件包无法被安装。如果您用的是 unstable 发行版,这也许是 因为系统无法达到您要求的状态造成的。该版本中可能会有一些您需要的软件 包尚未被创建或是它们已被从新到(Incoming)目录移出。 下列信息可能会对解决问题有所帮助:下列软件包有未满足的依赖关系:openssh-server : 依赖: openssh-client (= 1:6.6p1-2ubuntu1) E: 无法修正错误,因为您要求某些软件包保持现状,就是它们破坏了软件包间的依赖关系。
这是因为,openssh-server是依赖于openssh-clien的,那ubuntu不是自带了openssh-client吗?原由是自带的openssh-clien与所要安装的openssh-server所依赖的版本不同,这里所依赖的版本是1:6.6p1-2ubuntu1,所以要安装对应版本的openssh-clien,来覆盖掉ubuntu自带的。
$ sudo apt-get install openssh-client=1:6.6p1-2ubuntu1 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 建议安装的软件包:libpam-ssh keychain monkeysphere 下列软件包将被【降级】:openssh-client 升级了 0 个软件包,新安装了 0 个软件包,降级了 1 个软件包,要卸载 0 个软件包,有 0 个软件包未被升级。 需要下载 566 kB 的软件包。 解压缩后会消耗掉 0 B 的额外空间。 您希望继续执行吗? [Y/n] y 获取:1 http://cn.archive.ubuntu.com/ubuntu/ trusty/main openssh-client amd64 1:6.6p1-2ubuntu1 [566 kB] 下载 566 kB,耗时 2秒 (212 kB/s) dpkg:警告:downgrading openssh-client from 1:6.6p1-2ubuntu2 to 1:6.6p1-2ubuntu1 (正在读取数据库 ... 系统当前共安装有 200015 个文件和目录。) Preparing to unpack .../openssh-client_1%3a6.6p1-2ubuntu1_amd64.deb ... Unpacking openssh-client (1:6.6p1-2ubuntu1) over (1:6.6p1-2ubuntu2) ... Processing triggers for man-db (2.6.7.1-1) ... 正在设置 openssh-client (1:6.6p1-2ubuntu1) ...
可以看到,提示了系统中openssh-client被降级,这样再安装openssh-server就可以成功了!
3、查看SSH 目录 /etc/ssh 下是否有密钥文件
如果没有这两个文件,需要自己生成。输入以下命令。
#ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key #ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
生成密钥文件时,会提示输入密码,这里我们不输入密码,默认按回车
可以用“passwd 用户” 来修改ssh的登录密码。
4、启动ssh
/etc/init.d/ssh status 查看ssh状态 /etc/init.d/ssh start 启动ssh /etc/init.d/ssh restart 重启ssh
5、测试ssh 是否安装成功
三、配置SSH免密码登录
1、输入 ssh-keygen -t rsa
$ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): /*回车,设置默认路径*/ Enter passphrase (empty for no passphrase): /*回车,设置空密码*/ Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub.如果是root用户,则在/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。
2、将id_rsa.pub 文件 写入 authorized_keys
cat id_rsa.pub >> ~/.ssh/authorized_keys
查看 /root/.ssh目录
3、装id_rsa.pub 文件发送到远程机器上
scp id_rsa.pub root@172.20.14.144:/home
cat /home/id_rsa.pub >> /root/.ssh/authorized_keys
这样ssh登录远程机器就不需要密码了。
四、安装Hadoop
1、下载安装Hadoop2.2.0
2、解压tar包
$ sudo tar-vxzf hadoop-2.2.0.tar.gz -C /usr/local $ cd /usr/local $ sudo mv hadoop-2.2.0 hadoop$ sudo addgroup hadoop 添加hadoop组$ sudo adduser -ingroup hadoop hadoop 添加hadoop用户 $ sudo chown -R hduser:hadoop hadoop 授权
3、查看Hadoop包是32位还是64位
4、配置Hadoop环境变量
$ gedit /etc/profileexport HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
5、编辑配置文件
1)、进入Hadoop所在目录/usr/local/hadoop/etc/hadoop。
2)、配置core-site.xml文件
<configuration>/*这里的值指的是默认的HDFS路径*/<property><name>fs.default.name</name><!-- 客户端用于连 HDFS端口,操作文件. --><value>hdfs://master:9000</value></property> /*缓冲区大小:io.file.buffer.size默认是4KB*/<property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><!-- 临时文件路径--><value>/home/tmp</value><description>Abase for other temporary directories. </description></property><property><name>hadoop.proxyuser.hduser.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hduser.groups</name><value>*</value></property> </configuration>
3)、配置hdfs-site.xml
创建namenode和datanode目录,执行以下命令
$ mkdir /hdfs/namenode
$ mkdir /hdfs/datanode
配置hdfs-site.xml文件
<configuration><!--<property> <name>dfs.namenode.rpc-address</name> <value>master:9000</value> </property>--><!--<property><name>dfs.namenode.http-address</name><value>master:50070</value><description>dfs namenode web ui 的地址 </description> </property>--><property><name>dfs.namenode.secondary.http-address</name><value>master:9001</value><!--???--></property><property><name>dfs.namenode.name.dir</name><value>file:/hdfs/namenode</value></property><!--配置datanode的数据存储目录--><property><name>dfs.datanode.data.dir</name><value>file:/hdfs/datanode</value></property><!--配置副本数--><property><name>dfs.replication</name><value>3</value></property><!--将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode保存的--><property><name>dfs.webhdfs.enabled</name><value>true</value></property> </configuration>
4)、配置hadoop-env.sh 和 yarn-env.sh 文件
加入环境变量:export JAVA_HOME=/opt/java/jdk/jdk1.7.0_79/
5)、配置yarn-site.xml文件
<configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>/*resourcemanager的地址*/<property><name>yarn.resourcemanager.address</name><value>master:8032</value></property>/*调度器的端口*/<property><name>yarn.resourcemanager.scheduler.address</name><value> master:8030</value></property>/*resource-tracker端口*/<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property>/*resourcemanager管理器端口*/<property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property>/*ResourceManager 的 Web 端口,监控 job 的资源调度*/<property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property> </configuration>
6)、配置mapred-site.xml文件 伪分布式不用配
<configuration>/*hadoop对map-reduce运行框架一共提供了3种实现,在mapred-site.xml中通过"mapreduce.framework.name"这个属性来设置为"classic"、"yarn"或者"local"*/<property><name>mapreduce.framework.name</name><value>yarn</value></property>/*MapReduce JobHistory Server地址*/<property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property>/*MapReduce JobHistory Server Web UI地址*/<property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property> </configuration>
7)、配置masters,
slaves
sudo gedit /usr/local/hadoop/etc/hadoop/masters 添加:localhost (或master 必须配置hosts文件)
sudo gedit /usr/local/hadoop/etc/hadoop/slaves
添加:localhost
8)、配置hosts 文件 (可不配置)
gedit /etc/hosts 添加如下内容
192.168.0.161 master 192.168.0.156 slave1
9)、格式化Namenode(在Hadoop根目录下)
./bin/hadoop namenode -format
10)、启动hadoop(在hadoop根目录下)
./sbin/start-all.sh
11)、查看hadoop是否启动功能
五、测试hadoop
1、hadoop根目录下创建文件夹
hadoop fs -mkdir /test
2、查看hadoop目录文件
http://localhost:8088
http://localhost:50070
HDFS NameNode界面:http://localhost:8042
hadoop 下载地址:http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/
转载于:https://www.cnblogs.com/netuml/p/5809554.html
Hadoop 安装指南相关推荐
- HADOOP安装指南-Ubuntu15.10和hadoop2.7.2
Ubuntu15.10中安装hadoop2.7.2安装手册 太初 目录 1. Hadoop单点模式... 2 1.1 安装步骤... 2 0.环境和版本... 2 1.在ubu ...
- apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作须要.要開始搞hadoop了,又是大数据,自己感觉大数据.云.仅仅是ERP.SOAP风潮之后与智能地球一起诞生的概念炒作. 只是Apache是个奇妙的组织.Java假设没有它也不会如今如火中天.言 ...
- Cloudera Manager 5 和 CDH5 本地(离线)安装指南(Hadoop集群搭建)
转载:http://www.wangyongkui.com/hadoop-cdh5. 系统环境 4台联想R510服务器,其中master节点4核心.8GB,其它节点双核心.4GB. 网卡:100M. ...
- Storm 0.9安装指南
Storm 0.9.2安装指南 0 Storm0.9的亮点 引用网上的描写叙述: "Storm 0.9.0.1版本号的第一亮点是引入了netty transport.Storm网络传输机制实 ...
- storm 简介及单机版安装指南
2019独角兽企业重金招聘Python工程师标准>>> 转载:http://www.open-open.com/lib/view/open1374979211233.html 本文翻 ...
- Hadoop入门经典:WordCount
以下程序在hadoop1.2.1上测试成功. 本例先将源代码呈现,然后详细说明执行步骤,最后对源代码及执行过程进行分析. 一.源代码 package org.jediael.hadoopdemo.wo ...
- Hadoop详细配置
目录 第1章 概要说明4 1.1 Hadoop是什么?4 1.2 为什么选择CDH版本?4 1.3 集群配置环境4 1.4 网络结构图5 第2章 安装hadoop环境6 2.1 准备安装包6 2.2 ...
- Hive 1.2.1SparkSqoop安装指南
目录 目录 1 1. 前言 1 2. 约定 2 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 4 5. 安装步骤 5 5.1. 下载Hiv ...
- CDH6.3.1安装指南
CDH安装指南!!!! CDH简介 CDH基于Web的用户界面,支持大多数Hadoop组件,包括HDFS.MapReduce.Hive.Pig. HBase.Zookeeper.Sqoop,简化了大数 ...
- Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】
(一)hadoop 相关安装部署 (二)hive (三)pig (四)hadoop原理与编码 (五)数据仓库与挖掘 (六)Oozie工作流 (七)HBase (八)flume (九)sqoop (十) ...
最新文章
- Linux - SVN下载项目
- 计算机仿真实验用的教学软件是,AR增强现实教学软件,学习效果倍增
- linux学习-防火墙
- shell编程基础-简述
- 如何加强测评机构自身的规范化管理, 不断提高测评的能力和水平
- java面试题32:Java网络程序设计中,下列正确的描述是()
- iconfont使用
- android makefile文件批量拷贝文件的方法
- DES加密(支持ARC与MRC)
- 【刷题总结】二叉树前中后序遍历
- GHOST重装系统详解
- 设置win10锁屏壁纸为桌面背景
- 闲聊机器人实例一:python实现小姜机器人chatbot_xiaojiang聊天(概述)
- Vosk可以用于Unity的离线语音识别
- matlab sinh是什么,sinh(sinh怎么读)
- windows系统电脑间互传文件
- ikeas电子商务在covid 19时期就已经很糟糕了,它绝对崩溃了
- 第二、三代基因组测序数据混合拼接软件综述
- Maekdown使用
- 【渝粤教育】广东开放大学互联网营销本 形成性考核 (55)
热门文章
- Python源文件改写。编写一个程序,读取一个Python源程序文件source.py,将文件中所有除保留字外的小写字母换成大写字母。生成后的文件要能够被Python解释器正确执行。
- 【线性代数】6-6:相似矩阵(Similar Matrices)
- 使用css3实现一个超浪漫的新年倒计时
- T10 微信公众号如何获得清晰头像?
- diff比较两个目录时,如何略过特定目录或文件
- Java 压缩ZIP包后 压缩包内文件名乱码问题解决
- 安全攻击溯源思路及案例
- android ota升级服务,android OTA 升级包含增量升级
- ubuntu18.04下的屏幕亮度调节问题
- OJ 2311 Problem A	Orange