1.创建hadoop账户,创建用户的home目录并设置密码。(useradd -m hadoop )

2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoers)

以上的设置使用sudo不用输入密码

(注意:要在root用户下且修改完成要esc :wq保存)

3.修改主机名(如果你不想修改,跳过此步骤)

(1)0本次有效的方法,重启后就失效(hostname dsj01)

用户重新登陆下

(2)永久修改的方法(vi /ec/sysconfig/network),然后重启(init 6或者reboot)。

4.检查防火墙状态,如果是打开的,就关闭它。

(1)单次启动/关闭防火墙(service iptables on/off)

(2)永久启动/关闭防火墙(chkconfig iptables on/off),关闭后要重启。

5.将ip与主机名对应信息写入到/etc/hosts文件

6.配置ssh免密码登录(Hadoop 启动或者停止脚本时需要通过SSH发送命令启动相关守护进程,为了避免每次启动或者停止Hadoop输入密码进行验证,需设置免密码登录。)

(1)在hadoop根目录下创建.ssh文件目录。

(2)生成公钥文件id_rsa.pub和私钥文件id_rsa,此操作一直按回车键即可。

(3)将公钥文件id_rsa.pub 中的内容复制到相同目录下的authorized_keys文件中

(4)切换到hadoop用户的根目录,为.ssh目录授权

(5)使用ssh 登录djt,第一次登陆需要输入yes,第二次以后登录就不需要密码,此时表明设置成功

检查是因为openssh-client这个客户端没安装。

依然报错了,是依赖的问题。(配置DNS来解决)

在物理机的网络中心配置:

在ifcfg-eth0中配置:

然后安装客户端:

完成后,ssh登录。

7.下载jdk1.7并上传到/home/hadoop/app目录下将其解压并重命名为jdk。

解压:

重命名:

配置环境变量:

jdk安装成功:

8.下载hadoop2.6安装包并上传,解压并重命名为hadoop。

解压:

重命名:

配置环境变量:

进入hadoop/etc/hadoop目录,查看相关配置文件:

(1)修改core-site.xml配置文件

(2)修改hdfs-site.xml配置文件

(3)修改hadoop-env.sh配置文件

(4)修改mapred-site.xml配置文件

(5)修改yarn-site.xml配置文件

(6)修改slaves配置文件

创建hadoop相关目录:

格式化namenode:第一次安装Hadoop集群的时候需要格式化Namenode,以后直接启动Hadoop集群即可,不需要重复格式化Namenode。

启动伪分布集群:

启动成功后:

通过WEB UI查看结果:

进入C:\Windows\System32\drivers\etc 目录下,将ip与主机名添加到hosts文件里。

通过dsj01:50070进行访问hdfs:

通过dsj01:8080访问yarn:

9.测试运行伪分布式

创建dashuju目录:

创建一个dsj.txt文件并上传到dashuju目录下:

运行Hadoop例子中自带的wordcount程序:

使用 bin/hadoop   jar   share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar   wordcount   /dashuju/dsj.txt   /dashuju/output命令,其中/dashuju/dsj.txt是输入的原文件,/dashuju/output是输出路径。

查看统计结果:

通过WEB UI查看统计结果:

到此,hadoop伪分布式搭建完成。

转载于:https://www.cnblogs.com/Q277227/p/8179009.html

Hadoop伪分布式搭建(本人新手,欢迎大家多多指导和关照)相关推荐

  1. centOS 7下Hadoop伪分布式搭建

    记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺. 步骤 第一步:先把在window系统中下载好的关于Hadoop.jdk压缩包用Xftp传输到cent ...

  2. Hadoop伪分布式搭建

    1.到hadoop官网下载hadoop3.0,解压后用xftp复制到ubuntu中 2.配置hadoop的环境变量 在/etc/profile文件中添加如下语句: exportHADOOP_HOME= ...

  3. hadoop伪分布式搭建 java_hadoop2.2.0伪分布式搭建

    第一步:安装jdk 我的linux版本是centos7,使用最简单的安装方式,这里首先说一下,由于系统会预装openjdk版本等其他各种版本,首先要做的是清除这些版本,然后iu安装oracle的jdk ...

  4. Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法

    Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法 环境说明 系统:ubuntu18.04 主机名:test1 用 ...

  5. Spark伪分布式搭建与SparkYarn搭建

    Spark伪分布式搭建教程(Standalone:Master+Slave) 分析: 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java(请参考Linux-Java ...

  6. Windows 7 64位系统上搭建Hadoop伪分布式环境(很详细)

    在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...

  7. HADOOP 伪分布式集群搭建

    一 linux 环境的搭建 由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1.  搭建vmware 虚拟机 (1) ...

  8. 本地搭建Hadoop伪分布式环境之一:虚拟机的安装

    作者:GISer_Leo 好久没有写技术文档了,最近都在做项目:今日抽空搭建下Hadoop伪分布式环境: 个人笔记本:win8.1系统,内存32G,i7,硬盘1.5T: 准备软件:1.VMware-w ...

  9. Hadoop组件搭建-Hadoop伪分布式

    该文章仅用于记录个人笔记,如果您觉得不专业或者有误导,打扰到您,请谅解. Hadoop组件搭建-前置要求 Hadoop组件搭建-jdk Hadoop组件搭建-Hadoop伪分布式 Hadoop组件搭建 ...

最新文章

  1. 嵌入式linux alsa,嵌入式Linux下ALSA音频架构ALSA-lib移植与编译心得
  2. unix odbc php 连接sqlserver,Ubuntu下通过unixODBC连接MS SqlServer2005
  3. 弃用notepad++
  4. pythonlist特性_python 高级特性:List Comprehensions(列表生成式)
  5. mysql sql left right inner join区别及效率比较
  6. oracle查询grant信息,Oracle学习笔记(四)
  7. 第四篇 Python循环
  8. 不同时期的同学的聚会
  9. 伺服怎么接单相220伏_乐利网带你认识伺服电机及工作原理
  10. 卷积神经网络CNN是靠什么线索学习到深度信息的?
  11. Eclipse自定义启动画面和状态栏图标以及各种小图标的含义
  12. 基于朴素贝叶斯分类器的西瓜数据集 2.0 预测分类_第十章:利用Python实现朴素贝叶斯模型
  13. 【论文投稿】SOTA论文也未必能被接收,谷歌科学家Eric Jang谈顶会审稿标准
  14. 解决WebGL加载倾斜摄影模型出现An eror occurred while rendering.Rendering has stopped.问题
  15. matlab filter函数_简单使用matlab滤波器
  16. basler相机参数简要中文说明_Basler相机参数在NI软件下打开相机参数说明
  17. 详解LCD12864显示屏的使用(并行控制)
  18. html-5表白神器源码,html5开发表白神器实现代码
  19. 微信公众号原主体已注销 如何办理账号迁移及公证书?
  20. 如何用计算机表白男神,女生表白男生的方法 教你如何正确向男神表白

热门文章

  1. 夹娃娃_夹娃娃的实用性方法 抓娃娃可以用什么技巧
  2. C++_012C++11的语法新特性
  3. MFC下运行控制台不显示黑屏
  4. ff7重制版青魔法_狂父重制版发布+妖精的尾巴首次打折¥244+最终幻想4解锁国区新增中文...
  5. linux挂载lvm
  6. 【荐】纯CSS实现苹果MAC官方网站的菜单导航
  7. flink checkpoint 恢复_Apache Flink 管理大型状态之增量 Checkpoint 详解
  8. 文本嵌入的经典模型与最新进展
  9. linux 存文件格式,windows保存的文件传输到linux中格式转换
  10. python小结教学_Python Str内部功能-个人课堂笔记,课后总结