HDFS伪分布式集群搭建
一、操作系统环境配置
1. 安装jdk
rpm文件默认安装目录是 /usr
复制jdk路径配置环境变量
配置环境变量的目录
环境配置代码
刷新配置信息
使用jps检测是否配置成功（使用之前一定要先执行. /etc/profile来刷新配置信息 ）
2. 免秘钥
执行完上面两条程序后：
检测密钥是否设置成功：
发现现在登录自己的已经不需要输入密码了，说明密钥设置成功。
二、Hadoop部署
1. 传入Hadoop包到root目录，然后解压
解压命令：
一般把软件移动到/opt/software目录(先在/opt目录下创建好software文件夹)
2. 为了让hadoop执行的时候能找到java的配置目录，所以需要配置
将上面三个文件下都修改如下：
3. 配置Hadoop的环境变量
配置完后记得加载一下
4. 修改下面两个目录分别为
配置说明：运行HDFS需要将一台机器指定为namenode。属性fs.defaultFS描述HDFS文件系统的URI，其中主机是namenode的主机名（我这里用是hadoop01），或者IP地址，端口号是namenode监听RPC的端口。如果没有指定，那么默认端口是8020.
副本配置一个节点
修改datanode：
修改核心文件 core-site.xml，由于系统默认目录是/tmp文件下，即临时文件，这样下次启动就会自动丢弃，所以自己需要配置一个目录。
修改hdfs-site.xml,配置secondarynamenode：
5. 格式化namenode
格式化完成后会生成如下几个文件：
说明：
Version文件是一个java属性文件，其中包含正在运行的HDFS的版本信息。
fsimage文件是文件系统元数据的完整的永久性检查点
6. 启动
启动后dfs目录下多了两个文件夹data和namesecondary
而current的目录下多了个edits文件
同时也可以看到三个进程已启动：
7. 在浏览器上面验证
hadoop01:50070
现在没有任何文件，可以用hdfs命令创建一个文件
再刷新浏览器：
可以看到/user/root目录了。不过里面还没有东西。这个时候就可以上传文件了。
上传完成：
点击hadoop这个文件：
可以看到已经按照block进行了分割
文件大小为175.09M，默认的分割大小为128M，所以分割为两块。
上面的分割大小是默认的128M，还可以自己定义分割大小。
准备一个小程序：
生成的这个test文件大小为1.9M
test.txt文件中存的数据如下：
即1-100000行数据
自己设置block大小最小可以设置1M
1.6M可以切成两个block，那么如何自定block呢?
刷新浏览器：
可以看到block size的确是自定义的1M
并且成功地对test.txt文件进行了切割
以上就是伪分布式的全部流程。
HDFS伪分布式集群搭建相关推荐
- HADOOP 伪分布式集群搭建
一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
- zookeeper伪分布式集群搭建
zookeeper集群搭建注意点: 配置数据文件myid1/2/3对应server.1/2/3 通过zkCli.sh -server [ip]:[port]检测集群是否配置成功. 第一步:首先我们将我 ...
- 第二节HDFS完全分布式集群搭建与配置及常见问题总结
提示:此文章内容超级全面和详细 文章目录 前言 一.HDFS完全分布式集群是什么? 二.HDFS完全分布式集群搭建与配置 1.HDFS完全分布式集群搭建库 2.HDFS完全分布式集群搭建配置 HDFS ...
- Hadoop单机/伪分布式集群搭建（新手向）
此文已由作者朱笑笑授权网易云社区发布. 欢迎访问网易云社区,了解更多网易技术产品运营经验. 本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建,希望能够为初识Hadoop的小伙伴带来借鉴意 ...
- HDFS完全分布式集群搭建
在上一篇伪分布式的基础上搭建完全分布式集群 一.配置环境 1. 每一台主机安装jdk hadoop01已经安装过了,先把安装包,远程发送给hadoop02 hadoop03 hadoop04服务器 然 ...
- 【ManggoDB】安装配置（伪分布式集群搭建）Replia Set
文章目录 ManggoDB 参考资料 安装配置 配置 MongoDB 复制集(Replica Set)搭建 搭建伪节点 集群测试 注意 配置Debezium的connect 连接器 创建数据库 配置文 ...
- HFDS伪分布式集群搭建
HFDS伪分布式,顾名思义就是不是真正的分布式,它是搭建在一台其上的HDFS,以下是搭建HFDS伪分布式的操作和一些相关问题 设置免密登录 先生成公钥和密钥 [root@localhost .ssh] ...
- Hadoop框架：单服务下伪分布式集群搭建
本文源码:GitHub·点这里 || GitEE·点这里 一.基础环境 1.环境版本 环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2.Hadoop目录结构 bin目录:存放 ...
- 伪分布式集群搭建（hadoop）
1.安装VMware Tools 创建文件,实现挂载 创建文件夹software装软件的安装包.module装解压后的安装包 将VMwareTools的安装包移动到software文件中进行解压 解压 ...
最新文章
- oracle 触发器 merge,如何从触发器中解决Oracle变异错误
- mysql控制台增加一个用户_MySQL 纯命令行添加用户
- nanotime java 博客园_System.nanoTime （计时工具类）
- Berenson机器人艺术鉴赏家亮相切尔西画廊
- linux 中断和进程 传递,Linux内核之进程上下文和中断上下文的区别
- 支付分当钱花有人信了？微信辟谣：开通微信支付分不收费
- python之高性能网络编程并发框架eventlet实例
- js获取ck_js取不到ckeditor textarea值
- php的laravel框架下载,Laravel(PHP开发框架)官方下载 5.4稳定版_Win10镜像官网
- 物联网技术目前存在的问题
- js MessageBox 类 无插件，支持弹出层（原页面div 或者 div代码），消息框（alert confirm）
- 定位position-relative
- 我的世界服务器ess配置信息,我的世界ess指令大全及用法详解
- Vue项目中的Emitted value instead of an instance of Error问题
- 走近棒球运动·休斯敦太空人队·MLB棒球创造营
- 移动端项目总结 - ＜基础＞
- 社群运营中KOL的作用
- 简单易懂的CRC校验原理阐述
- 接口隔离原则：接口里的方法，你都用得到吗？
- 从装大象中我们学会了什么设计模式