(1)hadoop2.7.3下载

(前提:先安装java环境)

下载地址:http://hadoop.apache.org/releases.html

(注意是binary文件,source那个是源码)

(2)解压tar.gz

(3)配置hadoop

1.修改/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh 文件的java环境,将java安装路径加进去:

export JAVA_HOME=/alidata/server/java-1.7.0

配置hadoop环境变量

vi /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin

有的安装介绍中说是vi ~/.bash_profile,其实也可以用这个,2个命令在不同系统用户的环境配置的作用域不一样。参考:

http://blog.csdn.net/caiwenfeng_for_23/article/details/44242961

使之生效:

source /etc/profile

2.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/core-site.xml 文件,

<configuration>
    <!-- 指定HDFS老大(namenode)的通信地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储路径 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>

fs.defaultFS直接用localhost就行,如果重命名了主机名,也可以用重命名的。

3.修改/usr/hadoop/hadoop2.7.3/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/usr/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
    </property>

<property>
        <name>dfs.data.dir</name>
        <value>/usr/hadoop/hdfs/data</value>
        <description>datanode上数据块的物理存储位置</description>
    </property>

<!-- 设置hdfs副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4.SSH免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

5.hdfs启动与停止

第一次启动hdfs需要格式化,之后启动就不需要的:

cd /usr/hadoop/hadoop-2.7.3
./bin/hdfs namenode -format

启动命令:
./sbin/start-dfs.sh

停止命令:

./sbin/stop-dfs.sh

从图中看,会启动namenode,datanode,secondarynamenode

浏览器输入:http://119.29.174.43:50070     查看效果:

6.接下来配置yarn文件. 配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml    。这里注意一下,hadoop里面默认是mapred-site.xml.template 文件,如果配置yarn,把mapred-site.xml.template   重命名为mapred-site.xml 。如果不启动yarn,把重命名还原。

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

7.配置/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件,

<configuration>
    <!-- reducer取数据的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

8.启动yarn

启动:

./sbin/start-yarn.sh

停止:

./sbin/stop-yarn.sh

如图:

会启动resourcemanager,nodemanager

可以用jps命令查看启动了什么进程:

浏览器输入:http://119.29.174.43:8088      (8088是默认端口,如果端口占用,先把占用的端口杀掉 netstat -ano)

这样,dfs和yarn就启动成功了。

转载于:https://www.cnblogs.com/huifeidezhuzai/p/10011660.html

centos7装单机hadoop2.7.3相关推荐

  1. 如何给python装库_python一键式装单机和RAC数据库

    一键装数据库,单机安装测试没问题centos6.7,这个把RAC centos7 测试安装11G 没问题,统计包装到一起了,有需要的朋友自行取下,RAC 12C的还没测试好,后续抽空测试下 说明: R ...

  2. Centos7装NVIDIA显卡驱动(GPU)

    一.系统及显卡 系统:centos7.3 64位 显卡:Tesla V100 二.安装过程 1. 下载驱动 从NVIDIA官网 https://www.geforce.cn/drivers 选择相应的 ...

  3. centos7装完chrome无法使用yum问题解决

    2019独角兽企业重金招聘Python工程师标准>>> 续前文装好chrome后,yum居然用不了,提示错误"Basic XLib functionality test f ...

  4. linux centos安装桌面环境,CentOS6 CentOS7装桌面环境

    CentOS6 1.查看当前系统运行级别 # runlevel N 3 2. 查看当前系统已装组件和未装组件 [root@iZ25fcztyabZ ~]# yum grouplist | more L ...

  5. centos7 rabbitmq 单机部署 集群部署 HAProxy 负载均衡搭建

    准备工作 搭建 RabbitMQ Server 单机版 搭建 RabbitMQ Server 高可用集群 搭建 HAProxy 负载均衡 一.准备工作 节点 系统 版本 ip node1 centos ...

  6. centos7 harbor 单机搭建

    环境说明:centos 7.4 下面使用的域名是自己编造 可自行设置使用 域名在centos7.4 系统做解析 在windows vhost文件也做解析 分享压缩包  因github下载过慢  所以我 ...

  7. CentOS7.0下Hadoop2.7.3的集群搭建

    集群服务器规划 使用3台CentOS-6.8虚拟机进行集群搭建 服务 ip 主机名称 用户 HDFS YARN hadoop1 192.168.1.40 hadoop1 root  NameNode, ...

  8. centos7搭建单机kafka集群

    前言 生产环境下,为保证服务的高可用性,通常kafka是以集群部署的,本文基于centos7环境,演示下如何快速搭建一个单机版的kafka集群 环境准备 centos7环境,云服务器或虚拟机 zook ...

  9. Centos7快速单机搭建ceph(Octopus版)

    由于官网停止了很多版本的维护所以更新一下博客 官网连接 https://docs.ceph.com/en/latest/releases/ 1 开始部署配置阿里云的源 rm /etc/yum.repo ...

最新文章

  1. 以太坊开发者工具的最新清单
  2. python制作工资计算器-Python制作个税计算器
  3. AngularJS - 自定义指令
  4. 安装Eclipse插件
  5. 2019中韩版权研讨会举行 网络成版权保护主战场
  6. 深度残差网络和Highway网络
  7. P1028 [NOIP2001 普及组] 数的计算 python
  8. python实现RSA加密解密 及 签名验签功能
  9. C#子窗体精确定位到父窗体的某个位…
  10. 【Matlab】除法取整函数用法
  11. 车机没有carlife可以自己下载吗_雷克萨斯NX 原车carlife转换无线carplay
  12. 苹果6s最大屏幕尺寸_iPhone SE /iPhone 6s /5s对比图赏与屏幕报告
  13. 第九届全国大学生机械设计创新大赛基于STM32F407的HMI USART串口屏智能药箱设计
  14. 微信进入公众号提示服务器错误,微信登录公众号提示没有权限访问解决教程
  15. oracle数据库userenv,Oracle数据库中userenv、sys_context的参数
  16. 有C++/C的java学习
  17. 深度学习升级打怪之self attention笔记
  18. docker实现quagga_docker中安装quagga详细介绍
  19. 题解 P4766 【[CERC2014]Outer space invaders】
  20. android 一分钟掌握圆形布局原理--圆形菜单控件 so easy

热门文章

  1. 基于BISS0001构成的热释电红外延时照明控制器电路图
  2. BZOJ-1034 泡泡堂
  3. 你知道自己执行的是哪个jre吗?
  4. [LeetCode]Search Insert Position
  5. easyUI 绑定右键菜单在数据行上显示
  6. 猛然回首 在这里4年了
  7. std::shared_ptr之deleter的巧妙应用
  8. foreman架构的引入2-安装前环境准备
  9. Java内存模型FAQ(四)重排序意味着什么?
  10. 前端开发中那些不招人“待见”的功能