CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）

  • 准备
  • VMware虚拟机安装CentOs 7.4
    • 虚拟机创建
    • CentOS 7.4安装
    • 网络配置
  • JDK配置
  • Hadoop伪分布式安装配置
    • 安装Hadoop
    • core-site.xml
    • hdfs-site.xml
    • 格式化namenode并启动hadoop

准备

  1. VMware 版本：14.1.3 build-9474260
  2. CentOS7:CentOS-7-x86_64-DVD-2009.iso
  3. JDK:jdk-8u231-linux-x64.tar.gz
  4. Hadoop:hadoop-2.6.0.tar.gz

VMware虚拟机安装CentOs 7.4

虚拟机创建

  1. 打开VMware界面如下：

  2. 点击屏幕中创建新的虚拟机按钮

  3. 选择“典型”按下一步

  4. 下一步，客户机操作系统选择Linux，版本选择CentOS7.4 64位

  5. 下一步，自己给虚拟机起个名字，选择虚拟机的存放位置

  6. 下一步，指定磁盘大小，官方建议20G，我这里不做改动，大家自行决定大小，选择将虚拟磁盘拆分成多个文件

  7. 下一步，点自定义硬件

    可将声卡移除也可保留，自己选择

    自行指定内存和处理器。
    点击网络适配器，右侧网络连接选自定义，下拉菜单选VMnet8（NAT模式）

    最后关闭

  8. 点击完成创建虚拟机，创建好后如下

    点击编辑此虚拟机配置，进行如图操作，将下载好的iso文件导入

CentOS 7.4安装

  1. 开启虚拟机，出现如下画面，选择第一个按回车
  2. 等待一会，进入如下画面，左侧下拉选择中文，点击继续
  3. 进入如下画面

    点击安装位置，可不改动，点击完成即可

    点击软件选择，进入如下画面，选带GUI的服务器选项，不需要桌面的可不进行这一步，有其他需求的请自行选择，选完点击完成

    点击网络和主机名，进入如下界面，将网络连接按钮打开，修改主机名并应用（可选）点击完成
  4. 点击开始安装，设置root用户密码，创建普通用户

    设置root用户密码，可不遵循密码规则，点击两次完成即可

    创建用户亦可不遵循密码规则，点击两次完成即可
  5. 安装完后点击重启

    6.点击第一个，同意许可，并完成配置

网络配置

  1. 控制面板\网络和 Internet\网络连接 右击VMnet8 点击属性
  2. 双击IPV4


    选择使用下面IP地址选项
    在VMware点编辑下的虚拟网络编辑器，再点右下角的更改设置

    选择NAT模式，点击NAT设置

    将网关和子网掩码填入IPV4属性中

如下图DNS与网关相同IP地址前三个与网关相同最后一个在DHCP设置中起始与结束IP范围内
如图我这里的范围是128-254，则我设置IP为192.168.40.130

3. root 登录，修改/etc/sysconfig/network-scripts/ifcfg-ens33有的可能不是这个文件，可能是其他名字

vim /etc/sysconfig/network-scripts/ifcfg-ens33

打开文件，如图所示

将BOOTPROTO="dhcp"改为BOOTPROTO="static"
在文件末尾添加

IPADDR=192.168.40.128   # 设置IP
NETMASK=255.255.255.0   #  子网掩码
GATEWAY=192.168.40.2 # 设置网关
DNS1=192.168.40.2  #和网关保持一致就行

修改完，如下

4. 重启服务service network restart，出现如图所示表示成功

5. ping 百度、主机，再从主机ping虚拟机看是否能ping通，ping通了则说明配置成功，反之则失败，至于为什么失败了，请自行百度。

JDK配置

  1. 从主机复制jdk-8u231-linux-x64.tar.gz到虚拟机内，我直接复制到了主目录
  2. 在 usr 目录下创建文件夹java mkdir /usr/java非root用户前面加sudo sudo mkdir /usr/java
  3. 将 jdk-8u231-linux-x64.tar.gz解压到java目录下 tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/java/
  4. 配置环境变量 vim /etc/profile 在末尾添加如下代码
export JAVA_HOME=/usr/java/jdk1.8.0_231 #jdk解压后目录
export JRE_HOME=/usr/java/jdk1.8.0_231/jre #jdk目录下的jre目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
  1. 输入source /etc/profile使配置文件重新生效
  2. 配置环境变量 vim ~/.bashrc 在末尾添加如下代码
export JAVA_HOME=/usr/java/jdk1.8.0_231 #jdk解压后目录
export JRE_HOME=/usr/java/jdk1.8.0_231/jre #jdk目录下的jre目录
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
  1. 输入source ~/.bashrc使配置文件重新生效
  2. 输入 java -version 出现如下画面则说明jdk配置成功

Hadoop伪分布式安装配置

安装Hadoop

  1. 将hadoop安装包复制进虚拟机，并解压到/usr/local/目录下 tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local/
  2. 为方便后续操作将目录改名为hadoop mv hadoop-2.6.0/ hadoop
  3. 普通用户则需更改目录权限 sudo chown -R hadoop ./hadoop
  4. 配置环境变量 vim /etc/profile 在末尾添加如下代码
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
  1. 输入source /etc/profile使配置文件重新生效
  2. 输入 hadoop 出现如下图，则说明配置成功

core-site.xml

  1. vim /usr/local/hadoop/etc/hadoop/core-site.xml 打开core-site.xml 文件
    如图所示

    在configuration标签中插入如下代码
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>

1.hadoop.tmp.dir：设置临时目录，若不设置，hadoop退出就会清空默认的临时目录，下次启动就需要重新初始化。该临时目录自定义，事先可以不存在
2. fs.defaultFS：hdfs路径的逻辑名称。在访问hdfs时需要使用。注意此处用的时localhost，即只能通过本机访问，若要实现远程访问，需要把localhost置为IP。例如:hdfs://192.168.0.105:9000

hdfs-site.xml

  1. vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 在configuration标签中插入如下代码
<configuration><property><name>dfs.replication</name> <value>1</value></property><property><name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
  1. dfs.replication 表示副本数量，伪分布式设置为1
  2. dfs.namenode.name.dir 本地磁盘目录，是存储fsimage文件的地方
  3. dfs.datanode.data.dir 是一个本地磁盘目录，HDFS数据存放block的地方

格式化namenode并启动hadoop

  1. 输入 ./bin/hdfs namenode -format 格式化namenode,除非出错，否则不要重新格式化
  2. 启动hadoop集群，输入 start-all.sh
  3. 输入jps出现下图6个进程说明hadoop伪分布式配置成功
  4. 输入 hdfs dfs -mkdir -p /user/hadoop 创建hdfs用户目录

*转载请注明出处，文中有不正确处欢迎评论中指出 *

CentOS 7.4安装及Hadoop伪分布式配置（虚拟机：VMware）相关推荐

  1. Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法

    Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法 环境说明 系统:ubuntu18.04 主机名:test1 用 ...

  2. Hadoop安装教程_伪分布式配置-Ubuntu-CentOS6（究极详细、厦门大学数据库实验室）

    Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04) 林 ...

  3. hadoop伪分布式配置

    1.1 准备 通过gedit编辑器修改比较方便,因此需先安装gedit. sudo apt-get install gedit 1.2 修改配置文件core-site.xml和hdfs-site.xm ...

  4. Hadoop伪分布式配置试用+eclipse配置使用

    参考文档:http://hadoop.apache.org/common/docs/current/single_node_setup.html 环境:WinXP+cygwin+hadoop-0.20 ...

  5. hadoop伪分布式配置修改配置文件的时候无法保存（没有权限保存）

    使用gedit ./etc/hadoop/core-site.xml命令打开core-site.xml文件,这是只读方式打开文件,修改完后不能保存. 解决方法:命令前加sudo!

  6. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    给力星 追逐内心的平和 首页 笔记 搜藏 代码 音乐 关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...

  7. Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0

    Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...

  8. 大数据-安装 Hadoop3.1.3 详细教程-单机/伪分布式配置(Centos)

    Centos 7 安装 Hadoop3.1.3 详细教程 前言 00 需准备 01 需掌握 一.准备工作 00 环境 01 创建 hadoop 用户 02 修改 hadoop 用户权限 03 切换为 ...

  9. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...

最新文章

  1. 解决IOS滑动页面fixed浮动问题
  2. 【转载】python几种经典排序方法的实现
  3. Java中线程安全的单例模式
  4. （Origin）如何复制文件到另一个项目
  5. 牛客练习赛52 C 烹饪(容斥+扩展欧几里得)
  6. 使用Python进行差分进化全局优化
  7. Linux之常用Shell脚本总结
  8. Sap Hana触发器
  9. Linux ALSA声卡驱动之二：声卡的创建
  10. 手机忘记开机密码怎么办？我来教你
  11. Exp6 信息搜集与漏洞扫描 20164302 王一帆
  12. 放生主要体现在对生命尊严的维护
  13. win10无限重启_安装 Win10+Ubuntu双系统，让迷你掌上电脑更具生产力
  14. 绿色建筑评定解析丨智行有嘉
  15. 父亲节华为P40软文营销广告
  16. 360手机刷机·EdXposed安装和使用教程
  17. Linux项目--多人在线聊天系统的开发
  18. 电力系统非线性控制_第二届电气，控制，自动化和机器人国际学术会议 (ECAR2020)...
  19. 【bzoj4372】 烁烁的游戏【动态树分治】
  20. 办公系统服务器搭建,搭建云桌面办公服务器

热门文章

  1. CIO与CISO的角色演变
  2. 数据结构与算法-查找算法(二分查找，插值查找，斐波那契(黄金分割法)查找)
  3. 分享一份嵌入式软件工具清单！
  4. 怀旧服服务器怎么调整显卡性能,win10系统怎么让显卡性能最大化 提升显卡性能的设置步骤...
  5. oracle 大会旧金山,甲骨文全球大会2013旧金山- In-Memory Option即将发布
  6. 常见B端产品经理面试问题及答案（二）【11年大厂面试官呕心制作】
  7. html标签手册 360doc,360doc网文摘手
  8. 查询出部门编号为30的所有销售的详细信息
  9. 在多媒体会议室工程中信号传输设备连接的注意事项
  10. 洛谷 1346 电车