1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast    ###1.2修改IP两种方式:第一种:通过Linux图形界面进行修改(强烈推荐)进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.101 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply第二种:修改配置文件方式(屌丝程序猿专用)vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"               ###HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"IPADDR="192.168.1.101"           ###NETMASK="255.255.255.0"          ###GATEWAY="192.168.1.1"            ###1.3修改主机名和IP的映射关系vim /etc/hosts192.168.1.101    itcast1.4关闭防火墙#查看防火墙状态service iptables status#关闭防火墙service iptables stop#查看防火墙开机启动状态chkconfig iptables --list#关闭防火墙开机启动chkconfig iptables off1.5 修改sudosu rootvim /etc/sudoers给hadoop用户添加执行的权限关闭linux服务器的图形界面:
vi /etc/inittab 把 init 5 改成 init 3(linux在开机的时候就进入文本界面)1.5重启Linuxreboot2.安装JDK2.1上传alt+p 后出现sftp窗口,然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz2.2解压jdk#创建文件夹mkdir /home/hadoop/app#解压tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app2.3将java添加到环境变量中vim /etc/profile#在文件最后添加export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585export PATH=$PATH:$JAVA_HOME/bin#刷新配置source /etc/profile3.安装hadoop2.4.1先上传hadoop的安装包到服务器上去/home/hadoop/注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件3.1配置hadoop第一个:hadoop-env.shvim hadoop-env.sh#第27行export JAVA_HOME=/usr/java/jdk1.7.0_65第二个:core-site.xml<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --><property><name>fs.defaultFS</name><value>hdfs://weekend-1206-01:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop-2.4.1/tmp</value></property>第三个:hdfs-site.xml   <!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.secondary.http.address</name><value>192.168.1.152:50090</value></property>第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)mv mapred-site.xml.template mapred-site.xmlvim mapred-site.xml<!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>第五个:yarn-site.xml<!-- 指定YARN的老大(ResourceManager)的地址 --><property><name>yarn.resourcemanager.hostname</name><value>weekend-1206-01</value></property><!-- reducer获取数据的方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>3.2将hadoop添加到环境变量vim /etc/proflieexport JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile3.3格式化namenode(是对namenode进行初始化)hdfs namenode -format (hadoop namenode -format)3.4启动hadoop先启动HDFSsbin/start-dfs.sh再启动YARNsbin/start-yarn.sh3.5验证是否启动成功使用jps命令验证27408 NameNode28218 Jps27643 SecondaryNameNode28066 NodeManager27803 ResourceManager27512 DataNodehttp://192.168.1.101:50070 (HDFS管理界面)http://192.168.1.101:8088 (MR管理界面)4.配置ssh免登陆#生成ssh免登陆密钥#进入到我的home目录cd ~/.sshssh-keygen -t rsa (四个回车)执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)将公钥拷贝到要免密登陆的目标机器上ssh-copy-id localhost---------------------------ssh免登陆:生成key:ssh-keygen复制从A复制到B上:ssh-copy-id B验证:ssh localhost/exit,ps -e|grep sshssh A  #在B中执行

转载于:https://www.cnblogs.com/Eddyer/p/6515999.html

hadoop2.4的伪集群的搭建相关推荐

  1. Redis Cluster 伪集群的搭建

    简介 为何要搭建Redis集群?Redis是在内存中保存数据的,而我们的电脑一般内存都不大,这也就意味着Redis不适合存储大数据,适合存储大数据的是Hadoop生态系统的Hbase或者是MogoDB ...

  2. hadoop2.2单节点集群的搭建

    2019独角兽企业重金招聘Python工程师标准>>> 本文主要讲述怎么搭建和配置一个单节点的hadoop集群,以便使用mapreduce和hdfs快速的执行一些简单的操作. 环境准 ...

  3. Centos7:solr伪集群(SolrCloud)搭建

    JDK,tocmat环境搭建 zookeeper集群安装 解压缩zookeeper的压缩包 创建data目录 复制zoo_sample.cfg为zoo.cfg 修改confg/zoo.cfg中 dat ...

  4. Hadoop伪集群环境搭建

    结合网上多份文档,不断反复的修正hadoop启动和运行过程中出现的问题,终于把Hadoop2.5.2伪分布式安装起来,跑通了wordcount例子.Hadoop的安装复杂性的体现之一是,Hadoop的 ...

  5. Redis伪集群搭建

    什么是redis集群? redis集群是redis提供的分布式数据方案,可以在多个redis节点之间进行数据共享.它通过分片来提供一定程度的可用性,即使集群中有一部分节点失效或者无法进行通信,集群也能 ...

  6. ZK锦集:Zookeeper的下载和安装 | 真/伪集群的快速搭建| 总结的很详细

    前言 文章力求:通俗易懂.图文并茂.系统全面,语言精练,主要介绍以下知识点: 1.zk基础知识铺路,做到屋里有粮,心中不慌 2.zk的下载.安装.核心参数配置.节点参数释义 3.zk集群快速搭建的两种 ...

  7. zookeeper介绍及集群的搭建(利用虚拟机)

    ZooKeeper ​ ZooKeeper是一个分布式的,开放源码(apache)的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase.dubbox.kaf ...

  8. Hadoop2.x部署之完全分布式集群环境搭建

    一.分布式部署概述 Hadoop环境的搭建有三种方式: 本地环境搭建伪分布式环境搭建完全分布式环境搭建集群 在前面的文章中,详细描述了如何搭建本地环境[https://blog.csdn.net/qq ...

  9. redis伪集群安装linux,redis伪集群搭建(亲测无坑)

    一.单机版安装部署,伪集群只需要操作前1-8步即可,再往下浏览找到:二.单机版-伪集群  安装部署继续搭建,如需设置密码参照第10步 1.安装基本工具 yum install -y gcc-c++ v ...

最新文章

  1. linux下获取系统时间 和 时间偏移
  2. 免费创办网站_足够好的工程来创办一家互联网公司
  3. 工控安全要避开传统IT安全思路的几个“暗坑”
  4. SQLite学习手册(索引和数据分析/清理)
  5. 计算找到出现最多的数字和次数 ,实现数组去重 ,进行排序。
  6. javafx查找子节点_JavaFX技巧29:使布局忽略不可见的节点
  7. 【Codeforces Round #424 (Div. 2) C】Jury Marks
  8. 是否可以限制蓝牙传输距离_技术文章—关于蓝牙传输范围的常见误解
  9. while(1)和while(0)
  10. python import sql脚本_13-模块介绍-import两种方式-py文件的两种用途-模块搜索路径-项目开发的目录规范...
  11. mysql poolsize_thread_pool_size的调整
  12. 请教如何实现UITextField值变化的实时监视
  13. 第三季-第19课-消息队列编程
  14. Smartdrv程序有什么作用
  15. 使用小米蓝牙耳机airdots青春版的感受及单耳双耳配对教程(转载)
  16. matlab股票5日移动均线,一分钟,看懂五日均线图!
  17. Week1.3-金融会计指标案例分析
  18. python 3.7 安装 spyder‑kernels 模块
  19. 电机型号如YE2-132M-4-7.5KW-B35(B3)
  20. 微信网页开发wx.getLocation在安卓手机上的一个坑

热门文章

  1. 0基础半路转行学IT还来得及吗?
  2. 用计算机按数字铃声,在计算器上输入数字时按什么键
  3. spring 事务_极限 Spring (4) Spring 事务
  4. lunux安装多个mysql_实例详解linux下多个mysql5.7.19(tar.gz)安装图文教程
  5. SpringMVC中转发和重定向
  6. Java数据库连接池c3p0和druid
  7. python与机器学习(七)下——torchvision预训练模型测试真实图像分类
  8. Python中出现“TabError: inconsistent use of tabs and spaces in indentation”
  9. Linux网络实时流量监测工具iftop的安装使用
  10. 环境配置:Qt5.5+VS2013+OpenCv3.1.0+Win7(64bit)