虚拟机安装Hadoop
这里我们将完成虚拟机Hadoop的安装，我们需要选修改一个主机名方便以后查看，还需要下载好Hadoop文件，链接：Index of /dist/hadoop/common (apache.org)
选择你需要的Hadoop版本下载，我这里下载的是Hadoop-3.1.4/
修改一下主机名 命令：vi /etc/sysconfig/network
或者：vi /etc/hostname
重启虚拟机：reboot
重启虚拟机，主机名修改成功！
开始安装Hadoop！
（1）上传Hadoop 文件并解压，和上一个jdk的安装一样在xftp里面双击Hadoop文件。
上传成功！
解压 命令：tar -zxf hadoop-3.1.4.tar.gz -C /opt
可删除安装包以节省磁盘空间。
（2）修改配置文件 /opt/hadoop-3.1.4/etc/hadoop
先找到文件路径
######hadoop-env.sh
添加JAVA_HOME环境变量：
export JAVA_HOME=/usr/java/jdk1.8.0_341-amd64
(可以通过 echo $JAVA_HOME 获取路径)
！！！在配置一下文件时注意修改自己的主机名字！！！！！
命令：vi hadoop-env.sh
vi core-site.xml
vi hdfs-site.xml
vi mapred-site.xml
vi yarn-site.xml
######core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://demo:8020</value>
</property>
<!-- 临时文件存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
</property>
</configuration>
######hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/datanode</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 是否启用hdfs权限检查 false 关闭-->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>demo:50070</value>
</property>
</configuration>
######mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=/opt/hadoop-3.1.4</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/*:/opt/Hadoop-3.1.4/share/Hadoop/mapreduce/lib/*</value>
</property>
</configuration>
######yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>demo</value>
</property>
<!-- 设置不检查虚拟内存的值，不然内存不够会报错 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--yarn上面运行一个任务，最少需要1.5G内存，虚拟机没有这么大的内存就调小这个值，不然会报错 -->
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<value>1024</value>
</property>
</configuration>
以上就是Hadoop的安装，下一篇文章：Hadoop集群的配置(4条消息) Hadoop集群的配置_仄言2997的博客-CSDN博客_集群配置hadoop
虚拟机安装Hadoop相关推荐
- vmware虚拟机redhat7.2下docker容器安装hadoop
2019独角兽企业重金招聘Python工程师标准>>> 系统准备: 系统安装及配置 [略]详见:http://www.osyunwei.com/archives/7702.ht ...
- 学习笔记Hadoop（四）—— Hadoop集群的安装与部署（1）—— 虚拟机安装、java安装
一.虚拟机安装 1.1.了解一下概念 操作系统 操作系统(operation system,简称OS)是管理计算机硬件与软件资源的计算机程序.操作系统需要处理如管理与配置内存.决定系统资源供需的优先次 ...
- hadoop分布式安装部署具体视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)...
參考资源下载: http://pan.baidu.com/s/1ntwUij3 视频安装教程:hadoop安装.flv VirtualBox虚拟机:hadoop.part1-part5.rar had ...
- Hadoop学习笔记——入门教程（虚拟机安装LinuxHadoop环境搭建配置）
文章目录 一.Hadoop安装配置文档及注意事项 二.Hadoop概述 2.1.Hadoop是什么 2.2.Hadoop的发展历史 2.3.Hadoop三大发行版本 2.3.1 Apache Hado ...
- 利用闲置电脑安装虚拟机搭建hadoop集群
文章目录 前言 一.虚拟机环境的准备 二.连接虚拟机上的集群 1.整理需要连接的端口 2.配置VMware上虚拟机的端口转发 3.测试连接 总结 前言 本人刚开始学习大数据,记录自己的一些学习笔记.大 ...
- 家用服务器虚拟机装hadoop,超详细hadoop虚拟机安装教程（附图文步骤）
前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop.关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发 ...
- 虚拟机安装Ubuntu与Hadoop
Hadoop 安装 in Ubuntu 64bit on VMware station 1. Install VMware pro 15 on Windows 10. 2. Download Ubun ...
- Hadoop虚拟机安装超详细版
Hadoop虚拟机安装 一.准备安装包 二.Hadoop虚拟机安装步骤 1.创建一个新的虚拟机 2.选择使用的使用类型 3.选择稍后安装 4.选择我们的操作系统:CentOS 64位 5.命名一个虚拟 ...
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
参考资源下载: http://pan.baidu.com/s/1ntwUij3 视频安装教程:hadoop安装.flv VirtualBox虚拟机:hadoop.part1-part5.rar had ...
最新文章
- as3中TextFormat类的使用
- 【搜索专题】BFS中的多源BFS-双端队列BFS
- mac编译openresty报Undefined symbols for architecture x86_64
- Pixysoft.Framework.Noebe.Socket 开发实录
- 数据结构与算法 / 跳表
- 怎样通过vb设置透视表多项选择_四个操作带你玩转数据透视表，秒杀Excel函数，提升你的工作效率...
- JAVA高性能内存队列-disruptor
- 本地像服务器传文件,本地向服务器传送文件
- 卷积网络虽动人，胶囊网络更传“神”
- 第四次团队作业--选题
- 计算机信息安全工程师教材,第三级 安全标记保护级-信息安全工程师教材
- 手机无法弹出允许usb调试解决方法
- iPad网游输入优化
- 云端是一个软件平台，拥有丰富的资源。在云端使用软件，无需安装，一点，下载，直接使用。
- 学会这5个拍摄技巧，能让你的视频更好看
- 趋势丨从云到多云，超融合与云管平台如期而遇
- linux中查不到ip地址
- 云和恩墨大讲堂电子期刊第四期
- 完全背包问题贪心算法c语言,数据结构与算法学习之路：背包问题的贪心算法和动态规划算法...
- 今天谁也别想阻止我好好学习！「CDR 6·18特惠倒计时2天！」