(一)linux下hadoop安装配置
1.准备Linux环境
1.1关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
1.2修改sudo
su root
vim /etc/sudoers
给hadoop用户添加执行的权限
hadoop ALL=(ALL) ALL
关闭linux服务器的图形界面:
vi /etc/inittab
1.3重启Linux
reboot
2.安装JAVA JDK
2.1上传alt+p 后出现sftp窗口,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
2.2解压jdk
#创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
2.3将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
先上传hadoop的安装包到服务器上去/home/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65 -------------------java的安装目录
第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://lanpeng:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata</value>
</property>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 默认是3 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>192.168.1.152:50090</value>
</property>
第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
3.2将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.6.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3.5验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.1.101:50070 (HDFS管理界面)
http://192.168.1.101:8088 (MR管理界面)
4.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa (四个回车)
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id localhost
问题
1,、可能会遇到Linux版本与hadoop版本不匹配 程序中会发出警告,需要重新编译hadoop,
2、各服务器时间不同步
3、datenote文件夹权限问题,导致namenote不能访问datanote的目录
转载于:https://www.cnblogs.com/lp0636/p/8711255.html
(一)linux下hadoop安装配置相关推荐
- Linux下,安装配置Weblogic
Linux下,安装配置Weblogic 2009-03-20 15:03 一.安装配置JDK //如果应用不需要高版本的JDK的话,可以不单独安装JDK 1. 安装JDK # chmod a+x jd ...
- Linux下ejabberd安装配置
为什么80%的码农都做不了架构师?>>> Linux下ejabberd安装配置 1.下载Ejabberd安装包 wget http://www.process-one.net/ ...
- linux如何安装php,Linux下如何安装配置PHP
1)本文主要和大家分享Linux下如何安装配置PHP,下载PHP安装包,这里选用PHP 5.6版本,希望能帮助到大家. 并解压PHP安装包wget cn2.php.net/get/php-5.6.31 ...
- Linux下mongodb安装配置教程
Linux下mongodb安装配置教程 这里写目录标题 Linux下mongodb安装配置教程 1. 在linux(ubuntu)下安装mongodb 2. 遇到的坑 1. 在linux(ubuntu ...
- Windows和Linux下JDK安装配置
博客迁移了.麻烦去新地址查看. Windows和Linux下JDK安装配置 链接地址:http://www.msyy233.com/posts/1678.html#more
- linux php 安装图文教程下载,linux下php安装配置教程
linux下php安装配置教程 (6页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 19.90 积分 linux 下安装下安装 apache 与与 php ...
- Linux下cronolog安装配置
Linux下cronolog安装配置 Linux下cronolog安装配置 Linux下运行的Web服务器Apache,默认日志文件是不分割的,一个整文件既不易于管理,也不易于分析统计.安装crono ...
- Linux下ODBC安装配置
Linux下ODBC安装配置 ODBC 原理 ODBC 是 Open Database Connect 即开放数据库互连的简称,它是由 Microsoft 公司于 1991 年提出的一个用于访问数据库 ...
- linux下Hadoop安装与环境配置
注:本文采用的Linux环境为deepin 15.11系统(是由武汉深之度科技有限公司开发的颜值极高的Linux发行版),以下命令经测试Ubuntu18.04版本同样适用.linux安装可采用虚拟机安 ...
最新文章
- 神经网络常用激活函数
- One sentence only!!
- 软件测试 图覆盖,软件测试(四)——图覆盖
- 11.10 chkconfig:管理开机服务
- Asp.Net 网站一键部署技术(下)
- 第三章 计算机网络技术,计算机网络技术第三章习题
- 通力法评 | 资管新规系列一:对公募基金管理公司的影响
- 三维地图前端arcgis_基于ArcGIS的属性高程三维地图绘制
- 2021荣耀秋招笔试代码题
- pythoncookbook和流畅的python对比_流畅的python和cookbook学习笔记(五)
- 压缩算法之算术编码浅析与实现
- Vue 浏览器兼容性
- python关键词排名批量查排名_Python批量查询百度排名
- 域名Whois信息查询接口
- 达梦数据库基础篇--数据库管理工具
- 该虚拟机似乎正在使用中
- 自己动手搭建苹果推送Push服务器
- 【内网安全】WinLinux内存离线读取Hashcat破解RDPSSH存储提取
- Symfony\Component\ErrorHandler\Error\FatalError Trait ‘xxxx‘ not found
- C# 获取IP地址、主机信息(Host)、浏览器信息