Hadoop化繁为简(一)-从安装Linux到搭建集群环境
Hadoop化繁为简(一)-从安装Linux到搭建集群环境
简介与环境准备
hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce。近年,随着大数据、云计算、物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现。通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学。其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算。
操作建议:理论先了解三分,先实践操作完毕,再回头看理论,在后续文章我将对理论进行分析,最后用思维导图总结了解它的hadoop的整体面貌。
环境准备: https://pan.baidu.com/s/10Fd-dfeP0Ozk3pXmXb9n9Q 密码:bciy(建议自己去官网下环境,要原生原味的,不要二手货)
CentOS-Linux系统:CentOS-7-x86_64-DVD-1511.iso
VirtualBox虚拟机:VirtualBox-5.1.18-114002-Win.exe
xshell远程登录工具:xshell.exe
xftp远程文件传输:xftp.exe
hadoop:hadoop-2.7.3.tar.gz
jdk8:jdk-8u91-linux-x64.rpm
hadoop的物理架构
物理架构:假设机房有四台机器搭建一个集群环境,Master(ip:192.168.56.100)、Slave1(ip:192.168.56.101)、Slave2(ip:192.168.56.102)、Slave3(ip:192.168.56.103)。在这里简要介绍一下,至于具体内容,我将在Hadoop的Hdfs文章详细介绍。
分布式:将不同地点,不同功能的,用于不同数据的多态计算机通过通信网络连接其他,统一控制,协调完成大规模信息处理的计算机系统。简单说,一块硬盘可以分成两部分:文件索引和文件数据,那么文件索引部署在单独一台服务器上我们称为Master根节点(NameNode),文件数据部署在Master结点管理的孩子结点被称为Slave结点(DataNode)。
利用VirtulBox安装Linux
参考:http://www.cnblogs.com/qiuyong/p/6815903.html
配置集群在同一虚拟局域网下通信
说明:通过上述操作,已经搭建好master(192.168.56.100)这台机器,开始配置虚拟网络环境在同一虚拟机下。
- vim /etc/sysconfig/network
- NETWORKING=yes GATEWAY=192.168.56.1(说明:配置意思是,连上VirtualBox这块网卡)
- vim /etc/sysconfig/network-sripts/ifcfg-enp0s3
- TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0(说明:配置意思是,设置自己ip)
- 修改主机名:hostnamectl set-hostname master
- 重启网络:service network restart
- 查看ip:ifconfig
- 与windows能否ping通、若ping不同,关闭防火墙。master:ping 192.168.56.1 windows:ping 192.168.56.100
- systemctl stop firewalld -->system disable firewalld
利用Xshell、Xftp进行远程登录与文件传输
利用VirtualBox登录,上传文件会比较麻烦,采用Xshell远程登录。
采用Xftp上传文件。
上传hadoop-2.7.3.tar.gz、jdk-8u91-linux-x64.rpm到/usr/local目录下。新手提示:在右边窗口选中/usr/local目录,左边双击压缩包就上传成功了。
配置hadoop环境
- 解压jdk-8u91-linux-x64.rpm:rpm -ivh /usr/local/jdk-8u91-linux-x64.rpm-->默认安装目录到/usr/java
- 确认jdk是否安装成功。 rpm -qa | grep jdk,java -version查看是否安装成功。
- 解压hadoop-2.7.3.tar.gz:tar -vhf /usr/local/hadoop-2.7.3.tar.gz。
- 修改目录名为hadoop:mv /usr/local/hadoop-2.7.3 hadoop
- 切换目录到hadoop配置文件目录:cd /usr/local/hadoop/etc/hadoop
- vim hadoop-env.sh
- 修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
- 退出编辑页面:按esc键 输入:wq
- vim /etc/profile
- 在文件最后追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
- source /etc/profile
发散思考-更进一步
问题1:现在只是配置了一台master?那slave1、slave2、slave3也这样一台一台配置吗?
答:潜意识里面,肯定有解决办法避免。当然,VirtualBox也提供了,复制机器的功能。选中master,右键复制。这样的话,就一台跟master一模一样的机器就搞定了。我们只需要修改网络的相关配置即可。注意:搭建集群环境需要自己复制三台。
问题2:如何查看这些linux机器是否在同一个环境下?
答:我重新捋一遍内容。启动四台linux机器(可以右键选择无界面启动)-->利用xshell远程登录-->选择工具(发送键到所用界面)。依次输入ping 192.168.56.100、192.168.56.101、192.168.56.102、192.168.56.103。
配置与启动hadoop
1、为四台机器配置域名。vim /etc/hosts
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
192.168.56.103 slave3
2、切换到hadoop配置文件目录 /usr/local/hadoop/etc/hadoop vim core-site.xml
3、修改四台linux机器的core-site.xml,指名四台机器谁是master(NameNode)。
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
4、在master结点机器指名它的子节点有哪些:vim /usr/local/hadoop/etc/hadoop/slaves(其实就是指名子节点的ip)
slave1
slave2
slave3
5、初始化一下master配置:hdfs namenode -format
6、启动hadoop集群并且用jps查看结点的启动情况
启动master:hadoop-daemon.sh start namenode
启动slave:hadoop-daemon.sh start datanode
7、查看集群启动情况:hdfs dfsadmin -report或者利用网页http://192.168.56.100:50070/
版权声明
作者:邱勇Aaron
出处:http://www.cnblogs.com/qiuyong/
您的支持是对博主深入思考总结的最大鼓励。
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,尊重作者的劳动成果。
Hadoop化繁为简(一)-从安装Linux到搭建集群环境相关推荐
- Hadoop化繁为简-从安装Linux到搭建集群环境
Hadoop化繁为简-从安装Linux到搭建集群环境 摘要: 简介与环境准备hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的 ...
- Hadoop从安装Linux到搭建集群环境
简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必 ...
- linux上搭建集群环境
说明:在vmware上搭建共有3台机器的集群,已经有一台 一.新增linux系统 1.克隆虚拟机 2.更改新增系统的MAC vim /etc/udev/rules.d/70-persistent-ne ...
- 使用Nginx在windows和linux上搭建集群
Nginx Nginx (engine x) 是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器 特点:反向代理 负载均衡 动静分离- 反向代理(Reverse Pro ...
- 【Nutch2.3基础教程】集成Nutch/Hadoop/Hbase/Solr构建搜索引擎:安装及运行【集群环境】
1.下载相关软件,并解压 版本号如下: (1)apache-nutch-2.3 (2) hadoop-1.2.1 (3)hbase-0.92.1 (4)solr-4.9.0 并解压至/opt/jedi ...
- Nginx+Tomcat搭建集群环境
Nginx+Tomcat搭建集群环境 ZeroOne01关注0人评论33534人阅读2018-05-05 14:15:39 集群概述与架构介绍 Tomcat集群能带来什么: 提高服务的性能,例如计算处 ...
- Elasticsearch集群:搭建集群环境
Elasticsearch集群:搭建集群环境 1. 创建相应目录 在/root/es-cluster目录下创建以下目录 mkdir -p es01/data mkdir -p es01/logsmkd ...
- redis伪集群安装linux,redis伪集群搭建(亲测无坑)
一.单机版安装部署,伪集群只需要操作前1-8步即可,再往下浏览找到:二.单机版-伪集群 安装部署继续搭建,如需设置密码参照第10步 1.安装基本工具 yum install -y gcc-c++ v ...
- mysql三台机群集_MySQL Cluster 3台机器搭建集群环境
最后还是通过三台机器实现了linux下的mysql集群,这边首先要感谢众多网络上提供帮助教程,虽然有些没有经过实践无法真正达到效果,但是这次给MGM项目的这个开头还是不错. 书归正传,这边用的是vmw ...
最新文章
- 业界丨涨薪20%!听听这位资深机器学习面试官的内心独白
- oracle vm发现无效设置_Oracle数据库编译失效对象相关命令总结大全,值得收藏
- oracle DB死锁
- krita绘图_使用Krita 2.9的Digital Painting提供了缺少的Krita文档
- 如何让原本的密码只执行一次_如何在虚拟机中正确的第一次启动Linux系统
- python跳一跳编程构造_python实现微信跳一跳辅助工具步骤详解
- 《嵌入式设备驱动开发精解》——1.1 本书内容的组织
- c语言 camp;gt与camp;lt,那位高人告诉我怎么复习c语言二级啊?????
- C 数据结构与算法 散列表
- Java毕业设计174例
- U8采购入库单单价修复sql
- mysql cmd 关闭防火墙_MySQL WorkBench:Failed to Connect to MySQL at XXX.XXX.XXX with user XXX
- 江民“网页收割者”病毒技术分析报告
- DongDong认亲戚(map+并查集)
- C++通讯录管理系统
- Django exclude操作
- linux下载百度网盘
- 巧妙的通过二维码在手机和电脑传递小量数据
- 输入分数,判断成绩等级(使用if和switch两种方法)
- C#判断某一年是 “平年”||“闰年”,一月有多少天。
热门文章
- 苹果怎么测是原装屏_iPhone手机原装屏和组装屏到底差多少?一招教你辨别问题屏幕...
- 盘一盘 Python 系列 10 - Keras (上)
- 恭贺新春!交通运输标准体系汇总
- android设备外接多个usb摄像头
- 数字Numeric与单位units,建筑师编程指南之SketchUp插件开发 4
- Sketch 51 for Mac(矢量绘图软件)怎么汉化?Sketch 51 for Mac汉化教程
- SQL根据一张表数据更新另外一张表
- git生成patch和打patch
- CEF3 添加mp4播放功能
- VS2017中预编译头的作用(删除pch.h报错的原因)