Hadoop集群的启动
在首次启动Hadoop之前还需要进行一些配置工作
我们是在Linux集群上安装Hadoop集群
Linux中对大小写敏感！
1. 配置操作系统的环境变量
注意，一说Linux操作系统的环境变量
配置文件就在/home/wangguowei下的.bash.profile中
将hadoop的家目录写好
并引入到path路径中即可
注意：在编辑完成.bash.profile文件后，一定要再次重新让该配置文件生效
2. 创建Hadoop数据目录
在普通用户的家目录下创建hadoopdata目录，这个目录要与核心组件中的配置要对应
3. 格式化文件系统
这个操作只需要在master机上进行
使用hdfs命令就可以进行格式化
但是如果有些时候终端不认识hdfs命令，这种原因就是操作系统的环境变量配置不正确
因为在终端中有些是内部命令有些是外部命令，外部命令需要在环境变量配置后系统才能识别这个命令，这一点要注意
4. 启动和关闭hadoop集群
在3.1.0中打开Hadoop
start-dfs.sh
start-yarn.sh
在3.1.0中关闭Hadoop
stop-yarn.sh
stop-dfs.sh
这里和在Hadoop2.x版本有点不同
？这里出现slave1: ERROR: JAVA_HOME is not set and could not be found.问题
- 可能是在配置hadoop的过程中的配置文件的问题
- 注意：hadoop中的文件中env结尾的文件的环境变量文件，而site结尾的文件是配置文件
- 环境变量文件是env.sh
- 组件配置文件是site.xml
5. 验证hadoop是否启动成功
在hadoop平台上对应用状态进行监测的基本组件
hadoop端口号是http：//master：9870/可以在浏览器中检测hadoop的运行状况master：18088可以监测yarn的运行状况
配置hadoop需要的东西
- 2个环境变量文件
- 4个组件配置文件
- 1个workers文件
Hadoop集群的启动相关推荐
- Hadoop集群如何启动
Hadoop集群如何启动 1 hadoop软件安装的目录:/opt/app 有如下软件:hbase.spark-2.1.0-bin-hadoop2.4.hbconf.sqoop.hdconf.hive ...
- hadoop集群正常启动，却无法访问web页面
我刚刚启动hadoop集群,启动之后发现各个节点都在啊,咋访问不了web页面,上次启动时还能访问啊. 主要是我还能上传文件到集群,也能从集群上查看文件. 我就百度,搜出来基本上都是说你防火墙没关, s ...
- Hadoop集群的启动顺序
1.启动zookeeper集群 对于hadoop,使用Zookeeper的事件处理确保整个集群只有一个活跃的NameNode,存储配置信息,对于HBase,使用Zookeeper的事件处理确保整个集群 ...
- 大数据之-Hadoop完全分布式_集群的启动和停止方式总结---大数据之hadoop工作笔记0039
然后我们来总结一下hadoop集群的,启动停止方式 可以看到上面的方法可以在一个服务器上,去停止或启动服务. 然后后面我们会用脚本,去启动 start-dfs.sh 或者 stop-dfs.sh 这个 ...
- hadoop 集群启动 ERROR: Cannot write datanode pid /tmp/hadoop-user-datanode.pid. 问题的解决
ERROR: 问题产生原因 1.文件夹权限不够导致 2.磁盘空间不足 3.特殊原因(目录不可用) ERROR: 在配置好Hadoop集群后启动集群产生了如下错误: 提示在写入datanode.pid文 ...
- Hadoop集群的基本操作（五：Sqoop的基本操作）
实验 目的 要求 目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实 验 环 境 五台独立 ...
- Hadoop集群的基本操作（四：Hive的基本操作）
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的使用: 要求: 掌握数据仓库Hive的使用: 能够正常操作数据库.表.数据: 实 验 环 境 五台独立PC式虚拟机: 主机之间有有效的网络连接 ...
- Hadoop集群的基本操作（二：HBase的基本操作）
实验 目的 要求 目的: 1.HBase的基本应用 要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: 表创建.数据查询等数据 ...
- Hadoop集群搭建（八：Hive的安装配置）
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置: 要求: 完成Hive工具的安装和配置: Hive工具能够正常启动运行: Hive控制台命令能够正常使用: 能够正常操作数据库.表 ...
最新文章
- centos linux 系统上 log4j打印的时间与CST时间差8小时的解决方法
- 安卓桌面精灵_小米MIUI安卓Q来啦，超多黑科技！凭啥红米先尝鲜？内附预览图...
- MCPlayerKit 0.0.6 Release
- Android日期对话框NumberPicker的用法教程
- 前端学习（3052）：vue+element今日头条管理-自定义表格列列表
- javascript经典实例_一道前端经常忽视的JavaScript面试题
- SLAM Cartographer（17）分支定界闭环检测
- 计算机开发运维测试优劣,铁路运维软件安全性测试方法的研究
- 小程序在父组件执行子组件方法，可适用于下拉刷新上拉加载之后执行子组件方法...
- （七）对Jmeter进行参数化的俩种方式
- [暴力]JZOJ 100036 随机
- excel计算机一级知识点,计算机一级考试考点：Excel电子表格
- 学习笔记 | 算法导论学习笔记1
- 围棋棋手、电影、境界层次
- C++ 语言学习入门--类
- nuc8 macos12升级测试
- 合计函数（统计函数）
- 和合信诺牵手招行私人银行，构建智能合规知识引擎
- PX Deq Create send blkd
- Linux进程僵死原因排查思路