hadoop3.1伪分布式部署
1.环境准备
系统版本:CentOS7.5
主机名:node01
2.配置jdk的环境变量
2.1编辑/etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export JRE_HOME=$JAVA_HOME/jre export PAHT=$PATH:JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
2.2使得配置生效
source /etc/profile
3.安装部署hadoop
3.1解压hadoop到/opt 目录下
cd /softwaretar xf hadoop-3.1.1.tar.gz -C /opt/
3.2切换到hadoop配置文件目录
cd /opt/hadoop-3.1.1/etc/hadoop/
3.3修改hadoop的环境配置文件hadoop-env.sh
# 配置文件末尾添加下面变量 export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root
3.4修改core-site.xml配置文件
<configuration><property><name>fs.defaultFS</name><value>hdfs://node01:9000</value></property>#用于namenode 以及元数据存放在tmp目录下,更改存放到/var/hadoop/peseudo<property><name>hadoop.tmp.dir</name><value>/var/hadoop/peseudo</value></property> </configuration>
3.5修改hdfs-site.xml配置
<configuration><property><name>dfs.replication</name> #代表副本<value>1</value></property><property><name>dfs.namenode.secondary.http-address</name> #代表副本<value>node01:9868</value></property> </configuration>
3.6修改workers配置
vi workers node01 #localhost改成你的主机名
3.7执行格式化namenode
# cd /opt/hadoop-3.1.1 # ./bin/hdfs namenode -format 2018-12-12 22:14:40,004 INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted. 2018-12-12 22:14:40,025 INFO namenode.FSImageFormatProtobuf: Saving image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 2018-12-12 22:14:40,162 INFO namenode.FSImageFormatProtobuf: Image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 389 bytes saved in 0 seconds . 2018-12-12 22:14:40,177 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 2018-12-12 22:14:40,186 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at node01/10.10.0.11 ************************************************************/
3.8查看生成的数据信息
3.9启动集群
./sbin/start-dfs.sh
4.hdfs客户端使用
./bin/hdfs dfs -mkdir /temp
./bin/hdfs dfs -put /software/hadoop-3.1.1.tar.gz /temp
转载于:https://www.cnblogs.com/benjamin77/p/10108646.html
hadoop3.1伪分布式部署相关推荐
- day70-大数据之Hadoop部署1(单机部署与伪分布式部署)
大数据基础平台实施及运维 一.大数据介绍 学习目标 能够了解为什么使用大数据技术 能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大 数据分析的实时性越来越强 数据结果的应用越来越 ...
- Hadoop伪分布式部署及常用操作
hadoop伪分布式部署 之前有做过hadoop 2.x的部署,现在再做一下hadoop 3.x的部署. hadoop有三个组件:hdfs用来存储数据,mapreduce 用来计算(作业) ,yarn ...
- 大数据之---Yarn伪分布式部署和MapReduce案例
1.软件环境 RHEL6 角色 jdk-8u45 hadoop-2.8.1.tar.gz ssh xx.xx.xx.xx ip地址 NN hadoop01 xx.xx.xx.xx ip地址 DN ...
- Hadoop1 Centos伪分布式部署
前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...
- 胖虎的Hadoop笔记——Hadoop的伪分布式部署
胖虎的Hadoop笔记--Hadoop的伪分布式部署 本博客用于Hadoop大数据企业课笔记记录.第三步 一.VMware安装和创建虚拟机 1.VMware安装 安装包下载:https://pan.b ...
- MongoDB副本集、分片集的伪分布式部署(保姆级教程)
目录 1 集群架构(概念篇) 1.1 MongoDB核心组件 1.2 主从复制 1.3 副本集 1.4 分片集 2 集群搭建 2.1 部署副本集(伪分布式) 2.2 分片集部署(伪分布式) 2.3 副 ...
- Hbase伪分布式部署
按照JDK 并配置 JAVA_HOME 环境变量 vim /etc/profile export /home/software/jdk1.8.0_73 配置 Hbase 伪分布时 1)修改 hbase ...
- windows下hadoop的单机伪分布式部署(3)
下面介绍myeclipse与hadoop的集成. 我用的myeclipse版本是8.5. 1.安装hadoop开发插件 在hadoop1.2.1版本的安装包contrib/目录下,已经不再提供hado ...
- 在hadoop中伪分布式部署的命令与步骤
HDFS是进行存储的,YARN是进行调度的. 第一步先切换到hadoop下面的etc(配置文件都在etc下面) 命令:cd /etc 然后在hadoop中配置core-site.xml 命令:Vi c ...
最新文章
- C语言优势大揭露,你还在等什么呢?
- 机器学习业务实践之路-李博-专题视频课程
- 关于uWSGI服务器的安装和启动(一)
- pycharm自带python.exe_Pycharm自带Git实现版本管理的方法步骤
- python400集_今日分享」Python400集全套教程
- iOS开发那些事-iOS应用本地化-资源文件本地化
- 108.PHP输出CSV和EXCEL两种简单的方法
- Java反射异常处理之InvocationTargetException
- 2021年高考成绩查询徐水,2021年4月河北保定徐水区自考成绩5月18日公布
- python模拟鼠标点击linux_Python模拟实现Linux系统unix2dos功能
- 数据库面试题:Redis如何保证数据一致性
- win10怎么设置锁定计算机,win10电脑自动锁屏怎么设置_让win10电脑自动锁屏的设置方法...
- easysysprep4封装教程,自己封装系统
- 定个理财小目标:8w到100w实盘
- 【无人机 学习笔记 2】无人机导航制导与控制
- SQL的LEN函数用法及实例
- [OGRE]基础教程来三发:来谈一谈摄像机吧
- 最新IOS xcode12真机调试步骤
- nginx 404 not found错误查找
- 云计算,经济危机下爆发
热门文章
- geth访问节点_以太坊客户端Geth控制台使用及 Web3.js 使用实战
- vhd 镜像 备份Linux,差分VHD 系统秒备份、秒还原教程 完胜GHOST
- 怎么打散铺铜_装修辅材有哪些?怎么选?元老级工头:照这样去买你家多住50年...
- matlab聚类算法,科学网—matlab-聚类算法笔记 - 孙月芳的博文
- js中货币格式化方法
- 【mysq】远程访问权限(允许远程连接)
- 【thymeleaf】模板中定义变量
- 沃森变频器故障12_维修电工浅谈:常见的变频器故障及处理
- seir模型启发式算法_好文荐读|选址问题的启发式方法
- arcgis python教程视频_arcgispython教程