centos7装单机hadoop2.7.3
(1)hadoop2.7.3下载
(前提:先安装java环境)
下载地址:http://hadoop.apache.org/releases.html
(注意是binary文件,source那个是源码)
(2)解压tar.gz
(3)配置hadoop
1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java环境,将java安装路径加进去:
export JAVA_HOME=/alidata/server/java-1.7.0
配置hadoop环境变量
vi /etc/profile
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
有的安装介绍中说是vi ~/.bash_profile,其实也可以用这个,2个命令在不同系统用户的环境配置的作用域不一样。参考:
http://blog.csdn.net/caiwenfeng_for_23/article/details/44242961
使之生效:
source /etc/profile
2.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件,
<configuration>
<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/tmp</value>
</property>
</configuration>
fs.defaultFS直接用localhost就行,如果重命名了主机名,也可以用重命名的。
3.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<!-- 设置hdfs副本数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4.SSH免密码登录
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
5.hdfs启动与停止
第一次启动hdfs需要格式化,之后启动就不需要的:
cd /usr/hadoop/hadoop-2.7.3
./bin/hdfs namenode -format
启动命令:
./sbin/start-dfs.sh
停止命令:
./sbin/stop-dfs.sh
从图中看,会启动namenode,datanode,secondarynamenode
浏览器输入:http://119.29.174.43:50070 查看效果:
6.接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml 。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template 重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
7.配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件,
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
8.启动yarn
启动:
./sbin/start-yarn.sh
停止:
./sbin/stop-yarn.sh
如图:
会启动resourcemanager,nodemanager
可以用jps命令查看启动了什么进程:
浏览器输入:http://119.29.174.43:8088 (8088是默认端口,如果端口占用,先把占用的端口杀掉 netstat -ano)
这样,dfs和yarn就启动成功了。
转载于:https://www.cnblogs.com/huifeidezhuzai/p/10011660.html
centos7装单机hadoop2.7.3相关推荐
- 如何给python装库_python一键式装单机和RAC数据库
一键装数据库,单机安装测试没问题centos6.7,这个把RAC centos7 测试安装11G 没问题,统计包装到一起了,有需要的朋友自行取下,RAC 12C的还没测试好,后续抽空测试下 说明: R ...
- Centos7装NVIDIA显卡驱动(GPU)
一.系统及显卡 系统:centos7.3 64位 显卡:Tesla V100 二.安装过程 1. 下载驱动 从NVIDIA官网 https://www.geforce.cn/drivers 选择相应的 ...
- centos7装完chrome无法使用yum问题解决
2019独角兽企业重金招聘Python工程师标准>>> 续前文装好chrome后,yum居然用不了,提示错误"Basic XLib functionality test f ...
- linux centos安装桌面环境,CentOS6 CentOS7装桌面环境
CentOS6 1.查看当前系统运行级别 # runlevel N 3 2. 查看当前系统已装组件和未装组件 [root@iZ25fcztyabZ ~]# yum grouplist | more L ...
- centos7 rabbitmq 单机部署 集群部署 HAProxy 负载均衡搭建
准备工作 搭建 RabbitMQ Server 单机版 搭建 RabbitMQ Server 高可用集群 搭建 HAProxy 负载均衡 一.准备工作 节点 系统 版本 ip node1 centos ...
- centos7 harbor 单机搭建
环境说明:centos 7.4 下面使用的域名是自己编造 可自行设置使用 域名在centos7.4 系统做解析 在windows vhost文件也做解析 分享压缩包 因github下载过慢 所以我 ...
- CentOS7.0下Hadoop2.7.3的集群搭建
集群服务器规划 使用3台CentOS-6.8虚拟机进行集群搭建 服务 ip 主机名称 用户 HDFS YARN hadoop1 192.168.1.40 hadoop1 root NameNode, ...
- centos7搭建单机kafka集群
前言 生产环境下,为保证服务的高可用性,通常kafka是以集群部署的,本文基于centos7环境,演示下如何快速搭建一个单机版的kafka集群 环境准备 centos7环境,云服务器或虚拟机 zook ...
- Centos7快速单机搭建ceph(Octopus版)
由于官网停止了很多版本的维护所以更新一下博客 官网连接 https://docs.ceph.com/en/latest/releases/ 1 开始部署配置阿里云的源 rm /etc/yum.repo ...
最新文章
- 以太坊开发者工具的最新清单
- python制作工资计算器-Python制作个税计算器
- AngularJS - 自定义指令
- 安装Eclipse插件
- 2019中韩版权研讨会举行 网络成版权保护主战场
- 深度残差网络和Highway网络
- P1028 [NOIP2001 普及组] 数的计算 python
- python实现RSA加密解密 及 签名验签功能
- C#子窗体精确定位到父窗体的某个位…
- 【Matlab】除法取整函数用法
- 车机没有carlife可以自己下载吗_雷克萨斯NX 原车carlife转换无线carplay
- 苹果6s最大屏幕尺寸_iPhone SE /iPhone 6s /5s对比图赏与屏幕报告
- 第九届全国大学生机械设计创新大赛基于STM32F407的HMI USART串口屏智能药箱设计
- 微信进入公众号提示服务器错误,微信登录公众号提示没有权限访问解决教程
- oracle数据库userenv,Oracle数据库中userenv、sys_context的参数
- 有C++/C的java学习
- 深度学习升级打怪之self attention笔记
- docker实现quagga_docker中安装quagga详细介绍
- 题解 P4766 【[CERC2014]Outer space invaders】
- android 一分钟掌握圆形布局原理--圆形菜单控件 so easy