大数据基础平台搭建-（一）基础环境准备
大数据基础平台搭建-（一）基础环境准备
大数据平台系列文章：
1、大数据基础平台搭建-（一）基础环境准备
2、大数据基础平台搭建-（二）Hadoop集群搭建
3、大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建
4、大数据基础平台搭建-（四）HBase集群HA+Zookeeper搭建
5、大数据基础平台搭建-（五）Hive搭建
目录
- 大数据基础平台搭建-（一）基础环境准备
- 一、硬件环境准备
- 二、软件环境准备
- 三、部署架构
- 四、修改主机名和hosts文件
- 1. 修改主机名（各服务器分别修改主机名）
- 2. 修改hosts文件 # 添加机器ip与主机名映射
- 五、 关闭防火墙（每台服务器都执行）
- 六、免密登录（每台服务器都执行）
- 七、安装Java
- 1. 创建/usr/java（目录各服务器分别修改主机名）
- 2. 上传JDK的安装文件
- 3. 将安装文件同步到其它服务器的/usr/java目录下
- 4. 安装
- 5. 配置环境变量
- 6. 验证java版本
一、硬件环境准备
| 序号 | IP | HostName | 操作系统 | 说明 |
|---|---|---|---|---|
| 1 | 192.168.2.201 | CentOS7_x64 | 暂时不用，可以跳过此服务器 | |
| 2 | 192.168.2.202 | znode | CentOS7_x64 | 暂时不用，可以跳过此服务器 |
| 3 | 192.168.2.203 | hnode1 | CentOS7_x64 | NameNode Master |
| 4 | 192.168.2.204 | hnode2 | CentOS7_x64 | NameNode Second |
| 5 | 192.168.2.205 | hnode3 | CentOS7_x64 | DataNode |
| 6 | 192.168.2.206 | hnode4 | CentOS7_x64 | DataNode |
| 7 | 192.168.2.207 | hnode5 | CentOS7_x64 | DataNode |
二、软件环境准备
| 序号 | 软件名称 | 版本 | 说明 |
|---|---|---|---|
| 1 | JDK | 1.8 | |
| 2 | Hadoop | 3.3.4 | |
| 3 | HBase | - | 列式数据库 |
| 4 | Hive | - | 数据仓库 |
| 5 | Zookeeper | - |
三、部署架构
四、修改主机名和hosts文件
1. 修改主机名（各服务器分别修改主机名）
使用hostnamectl命令修改主机名，执行该命令后立即生效，代码如下
[root@localhost ~]# hostnamectl set-hostname hnode1
其余的机器也使用hostnamectl命令修改主机名,示例如下：
[root@localhost ~]# hostnamectl set-hostname znode
[root@localhost ~]# hostnamectl set-hostname hnode1
[root@localhost ~]# hostnamectl set-hostname hnode2
[root@localhost ~]# hostnamectl set-hostname hnode3
[root@localhost ~]# hostnamectl set-hostname hnode4
[root@localhost ~]# hostnamectl set-hostname hnode5
2. 修改hosts文件 # 添加机器ip与主机名映射
[root@localhost ~]# vim /etc/hosts
192.168.2.202 znode
192.168.2.203 hnode1
192.168.2.204 hnode2
192.168.2.205 hnode3
192.168.2.206 hnode4
192.168.2.207 hnode5
五、 关闭防火墙（每台服务器都执行）
[root@hnode1 ~]# systemctl status firewalld.service
[root@hnode1 ~]# systemctl stop firewalld.service
[root@hnode1 ~]# systemctl disable firewalld.service
六、免密登录（每台服务器都执行）
## 生成密钥对
ssh-keygen -t rsa ## 一路回车即可
## 进入.ssh目录，如果目录不存在则创建
cd ~/.ssh
## 将公钥导入至authorized_keys
cat id_rsa.pub >> authorized_keys
## 修改文件权限
chmod 700 ~/.ssh
chmod 600 authorized_keys
在node1上执行以下命令，使主节点能免密访问其他俩从节点：
## 配置主从互相免密登陆
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@znode 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode1 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode2 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode3 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode4 'cat - >> ~/.ssh/authorized_keys'
[root@node1 ~]#cat ~/.ssh/id_rsa.pub | ssh root@hnode5 'cat - >> ~/.ssh/authorized_keys'
七、安装Java
1. 创建/usr/java（目录各服务器分别修改主机名）
[root@hnode1 ~]# mkdir /usr/java
2. 上传JDK的安装文件
将jdk-8u271-linux-x64.tar.gz安装文件上传到其中一台服务器hnode1
3. 将安装文件同步到其它服务器的/usr/java目录下
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@znode:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode2:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode3:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode4:/usr/java
[root@hnode1 java]# scp -r ./jdk-8u271-linux-x64.tar.gz root@hnode5:/usr/java
4. 安装
[root@hnode1 java]# tar -xzvf ./jdk-8u271-linux-x64.tar.gz
5. 配置环境变量
[root@hnode1 java]# vim /etc/profile
#SET JAVA
export JAVA_HOME=/usr/java/jdk1.8.0_271
export PATH=$JAVA_HOME/bin:$PATH
[root@ambariserver java]#source /etc/profile
6. 验证java版本
[root@hnode1 java]#java -version
※ 其它服务器也参照上述步骤4-6进行安装jdk
大数据基础平台搭建-（一）基础环境准备相关推荐
- 京东手机电商大数据统计平台搭建
京东手机电商大数据统计平台搭建 一.虚拟机搭建 1.下载虚拟机 2.解压虚拟机 3.VMware扫描添加虚拟机 4.虚拟机网络说明 5.虚拟机已安装软件和框架说明 二.核心代码 三.数据展示环境搭建 ...
- PPT报告直接领，这份51页「大数据决策分析平台搭建方案」真的很值
回复「大数据方案」,直接领取51页<大数据决策分析平台搭建方案>PPT. 对于国内企业而言,企业数据的常见问题至少包含以下几点: 数据分散,多套系统并行,数据孤岛问题严重 数据体量大,存储 ...
- 大数据Hadoop平台搭建(Apache)
Hadoop环境搭建 一.节点详情 服务器 配置 组件 hadoop101 8核/16.0GB QuorumPeerMain,PrestoServer,Kafka,DataNode,NodeManan ...
- 340页11万字智慧政务大数据资源平台数据治理方案
一.1.1 数据治理子系统 建设大数据治理子平台,提供数据标准管理.元数据管理.数据质量管理能力,实现对数据的规范治理与管理:提供数据工厂能力,实现对归集的数据进行清洗.加工,支撑业务的数据应用需求. ...
- 11万字数字政府智慧政务大数据建设平台（大数据底座、数据治理）
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除. 部分资料内容: 一.1.1 数据采集子系统 数据采集需要实现对全区各委办单位的数据采集功能,包括离线采集.准实时采集和实时采集的采集方 ...
- 大数据多维分析平台的实践
大数据多维分析平台的实践 一. 大数据多维分析平台搭建的初心 随着公司业务量的增长,基于传统关系型数据库搭建的各种报表查询分析系统,性能下降明显.同时由于大数据平台的的日趋完善,实时的核心业务数据逐 ...
- 用「星图地球开发者平台」搭建智慧旅游大数据可视化平台
关于智慧旅游的可视化平台搭建,有很多文章已经介绍过了.我最近发现了一个比较便捷的开发者平台,能够快速搭建可视化平台.这篇文章就结合智慧旅游来说一下. 星图地球开发者平台(GEOVIS Earth De ...
- python做大数据的框架_Python+大数据计算平台，PyODPS架构手把手教你搭建
原文链接:http://click.aliyun.com/m/13965/ 在2016年10月的云栖社区在线培训上,来自阿里云大数据事业部的秦续业分享了<双剑合壁--Python和大数据计算平台 ...
- 在线教育大数据营销平台实战（搭建篇）
作者介绍:TigerHu,某在线教育企业大数据营销产品负责人,主导数据产品线和营销 CRM 产品线. 本文内容均从作者真实实践过程出发,结合在线教育业务背景和当时的客观条件,深入分析大数据营销平台实战 ...
最新文章
- 【翻译】将Ext JS Grid转换为Excel表格
- 工业机器人应用行业大盘点
- Python中获取异常（try Exception）信息
- sizeof()与strlen()
- 小米、360、京东之后 阿里联手美的杀入智能家居市场
- 手机移动防卫盾安全需求分析文档
- c++的assert函数
- 网页爬虫的设计与实现（Java版）
- python词云下载什么_python词云安装什么库
- Vue 3 最新进展
- Java-模拟KTV点歌(控制台程序)
- 剑指offer之二叉搜索树与双向链表
- 记录峨眉山两日游（附带徒步登山攻略）
- 结对编程-李晓彤+凌嘉文
- awb数据怎么计算_自动白平衡(AWB)算法
- 测量频率和占空比的几种方法
- Microduino王镇山：将物联网带进课堂
- 基于java的学生选课系统_基于Java的学生选课系统.doc
- 组合逻辑中的竞争与冒险
- Charles本地映射 修改返回 Map Local setting