2019独角兽企业重金招聘Python工程师标准>>>

搭建Hadoop1.x,hdfs所总结的记录,因为知识和经验不足,里面的错误和不清楚的地方请您多多包含,如果有疑问评论我一定会及时回复。

1. 准备三台以上的机Linux(node1,node2,node3...),这是我的主机版本

2. 相互ping通,最好配置hosts的ip和主机名映射

3. 时间一定要一致(date命令查看)

4. 所有主机之间可以ssh免密码登陆

5. 所有的机器上要安装合适的JDK,并配置好JAVA_HOME,CLASS_PATH,PATH这些变量,我配置在了/etc/profile中,也可以配置在 ~/.bash_profile,这两个目录文件都可以配置路径和环境变量。

配置如下:确保所有机器有一样合适的JDK

6. 关闭防火墙(所有主机)

7. 把hadoop(我安装的是hadoop-2.5.1)解压在某个目录下,开始配置文件

8. 在/hadoop-2.5.1/etc/hadoop/hadoop-env.sh中  配置JAVA_HOME,在这个文件中找到写JAVA_HOME的位置,在把自己本机的JAVA_HOME写上。

9. 在相同的目录下打开 (vi core-site.xml),这里配置两个变量,一个用来指定文件系统访问的方式和位置(namenode),一个用来指定hadoop工作空间位置。这个位置可以不用手动创建文件夹,格式化之后会自动创建。

10. 配置hdfs-site.xml,这个用来指定通过浏览器访问secondaryNameNode时的端口,具体看下面的。

这个配置好之后,开启hadoop可以通过浏览器IP加下面的端口访问secondaryNameNode,一个是http协议的一个是https协议的。但请注意,如果要访问NameNode时,端口号是50070(默认配置的,也可手更换).

11. 配置slaves(奴隶)文件,也在相同的目录下,这个文件中指定dataNode的主机,一行写一个主机,可以写主机名,也可以写IP,前提是要有hosts的映射文件。下面就是我的三台主机。

12. 配置masters,这个文件需要自己创建,这个文件中指定secondaryNameNode的主机,在同目录下创建。

13. 注意上面配置,不要写错,配置好之后,通过scp -r 命令把整个hadoop安装目录,发送到其它几台主机上,在其它主机上的位置要和这台主机的位置一模一样。

14. 为了以后方便直接在任何位置敲hadoop的命令,我们配置一下hadoop的环境变量,就像配置Java环境变量的目的一样。这个变量可以配置在~/.bash_profile(“~”对应的用户可以使用)或者配置在/etc/profile(所有用户都可以使用)中。

15. 然后在把配置环境变量的文件通过scp -r 命令拷贝到其它机器的相同位置上。

16. 开始在nameNode上格式化!命令:hdfs namenode -format   注意:等待格式化完成,没有出现意外的话(格式化状态代码返回为:0),就会生成上面(9.步)配置的那个hadoop工作目录这个目录下的dfs/name/current中存放下面的这些东西,看到fsimage了吗?(不要纠结我有多个,因为我不是第一次运行hdfs了。)

17. 启动hdfs,命令:start-dfs.sh,正常启动见下图:看到了吗,很清楚的写明了namenode,datanode,secondarynamenode是哪几台机器。

18. 可以通过jps命令查看当前主机启动的java程序,如下:说明我启动了JPS和NameNode的java程序。(这样理解可能不准确,自己上网查查)

19. 通过浏览器访问,nameNode,访问nameNode的主机+端口(50070):我的即是192.168.1.111:50070,页面如下:(说明就hdfs初步搭建告成!)

20 .访问secondaryNameNode:主机+端口(50090或者50091(https)):我的是192.168.1.112:50090

搭建完成,多台机器搭建其实很简单的,其本质就是一个简单的文件系统,我们常用的文件系统有windowsNTFS,linux的树状文件系统等

可以使用:关闭hdfs的命令:stop-all.sh。

转载于:https://my.oschina.net/u/3696405/blog/1542525

Hadoop1.x之hdfs集群搭建相关推荐

  1. 7.HDFS之——NameNode的概述、自动Name的概述、NameNode HA 集群搭建

    7.HDFS NameNode HA 7.1 NameNode HA概述 所谓HA(High Availablity [əˌveɪlə'bɪləti] ),即高可用(7x24小时服务不中断).通过主备 ...

  2. hadoop-HA集群搭建,启动DataNode,检测启动状态,执行HDFS命令,启动YARN,HDFS权限配置,C++客户端编程,常见错误

    本篇博文为整理网络上Hadoop-HA搭建后出来的博客,参考网址为:http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器 ...

  3. hadoop java访问_Hadoop(五)搭建Hadoop客户端与Java访问HDFS集群

    上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx ...

  4. 第二节HDFS完全分布式集群搭建与配置及常见问题总结

    提示:此文章内容超级全面和详细 文章目录 前言 一.HDFS完全分布式集群是什么? 二.HDFS完全分布式集群搭建与配置 1.HDFS完全分布式集群搭建库 2.HDFS完全分布式集群搭建配置 HDFS ...

  5. Hadoop 3.x搭建基础HDFS集群

    与Hadoop 2.x相比,它有一些新的特性如下: 基于JDK 1.8 HDFS可擦除编码 MR Native Task优化 基于Cgroup的内存隔离和IO Disk隔离 更改分配容器资源Conta ...

  6. HDFS高可用配置及其高可用集群搭建

    高可用 高可用背景 单点故障.高可用 实现高可用 主备集群 Active.Standby 可用性评判标准- x个9 HA系统设置核心问题 1.脑裂问题 2.数据同步问题 HDFS NameNode单点 ...

  7. Hadoop的集群搭建及HDFS命令

    环境信息 1. 硬件: 内存ddr3 4G及以上的x86架构主机一部 系统环境:windows 2. 软件: virtualbox 3. 其他: 无 步骤与方法 1. 安装Hadoop并进行集群搭建 ...

  8. docker下,极速搭建spark集群(含hdfs集群)

    搭建spark和hdfs的集群环境会消耗一些时间和精力,处于学习和开发阶段的同学关注的是spark应用的开发,他们希望整个环境能快速搭建好,从而尽快投入编码和调试,今天咱们就借助docker,极速搭建 ...

  9. Spark集群搭建中的问题

    参照<Spark实战高手之路>学习的,书籍电子版在51CTO网站 资料链接 Hadoop下载[链接](http://archive.apache.org/dist/hadoop/core/ ...

最新文章

  1. Can't connect to MySQL server on '127.0.0.1' (10061) (code 2003)解决方法
  2. iOS应用跳转qq指定联系人聊天
  3. Java程序员从笨鸟到菜鸟之(七十九)细谈Spring(八)spring+hibernate整合基本详解
  4. JS基础之undefined与null的区别
  5. python层次聚类法画图_Python实现简单层次聚类算法以及可视化
  6. 简述运行PHP文件的步骤,简述PHP运行机制
  7. 学习设计模式——工厂方法模式
  8. Bitmap详解(上)常用概念和常用API
  9. I/O流之缓冲流的文件复制代码及节点流处理数据加密
  10. 服务高可用利器——限流算法介绍与示例
  11. linux设置activemq开机启动,Activemq(centos7)开机自启动服务
  12. 银行家算法课程设计(附源代码)
  13. MaxCompute助力小影短视频走向全球化
  14. 大学生IT网络创业计划书
  15. onenote2016下载地址
  16. python中utf-8和gbk编码格式_python中unicode、utf8、gbk等编码问题
  17. 如何部署软件 - 让你团队的部署像地狱一样无聊且毫无压力
  18. ReactOS 代码更新后的编译安装
  19. Excel实用教程-字符提取函数(FIND/LEFT/RIGHT/LEN/MID/TEXT)
  20. dlink虚拟服务器设置,dlink虚拟服务器设置

热门文章

  1. Java基础(二) 程序格式
  2. 设为首页及收藏本页代码 兼容IE和Firefox
  3. 理解JavaScript面向对象的思路
  4. C++11中的bool变量不进行初始化,结果随机,可能是false也可能是true,所以一定要初始化
  5. 感謝有PPStream這種好東西
  6. 响应式网页之媒体查询
  7. hibernate xml配置文件
  8. 关于前端缓存的一个封装思路
  9. 同步、异步;阻塞、非阻塞
  10. H5中JavaScript常用代码片段