系列文章目录

文章目录

系列文章目录
前言
一、功能概述
二、使用步骤
- 2.1 安装
- 2.2 监控
- 2.3 管理
- 2.4 用户管理
- 2.5 应用市场
- 2.6 操作系统
三、总结

前言

做大数据有几年了，这些年耳濡目染了一些大数据管理平台的使用，但是或多或少使用起来，都不怎么方便，所以决定自己来实现一个简单的大数据平台

一、功能概述

大数据应用组件往往很多，可能几百台服务器组成一个Hadoop集群，当部署这些节点时，需要一个节点一个节点的操作，简直不敢想象。同时在这些服务器上可能还部署着Spark、Flink、Hive、Hbase、ES等很多很多的组件，有时一个节点出问题，如果不即使发现处理/可能会引起一系列问题，而如果想关闭一些节点，或迁移某些节点，则需要运维人员手动去操作，当需要操作的节点很多的时候，就很耗费人力资源。为解决此类问题，大数据管理平台就出现了。

一个比较完善的大数据平台，应该包含有如下功能：

具体包括：

能一键安装大数据产品
能管理/监控多台服务器
能监控到各个大数据产品的运行状况
能在主页面上管理各个产品，并对其操作
有个shell，可以远程操作服务器
能安全管理各个用户/用户组/权限/角色等

前4个是基本的功能，第五个待后续更新

二、使用步骤

2.1 安装

已目前业内比较通用的大数据产品，包括zk，hdfs，yarn，hive，hbase，es等，各个产品的部署方式不同，需要的配置文件操作步骤都不相同，所以必须抽象出一个通用的组件来达到可以满足任何新组件的要求。

环境的配置
linux环境必须统一，因此在部署前必须做环境检查
- 首先是系统版本
  第一阶段，我们要求系统版本为CentOS7.x
- CPU/内存
  要求X86架构和最低8G的内存
- 硬盘
  不做硬性要求，但至少要有足够大的根分区
- 网卡
  百兆网卡及以上
- 分区
  不做硬要求
- 密码
  每个服务器最好都统一
- 数量
  为组成集群，要求服务器数量至少三台
架构
我们以master/slave方式部署，为高可用，我们使得每个服务器，既是master，又是slave，即使又宕机，也可以迅速切换。

2.2 监控

我们需要实时的监控各个组件的运行状况，分别用绿/黄/红代表组件的可用度
当组件出现问题时能及时的发出通知
实时展示组件运行中出现的异常日志，并提供搜索功能

2.3 管理

大数据平台，应当可以对组件进行如下操作：

组件整体关闭
组件整体启动
组件某个角色的关闭/启动
组件某个角色更换节点
组件的删除
组件的升级
组件配置文件/参数的修改

2.4 用户管理

应当提供基础的用户登录/权限控制

2.5 应用市场

需提供组件安装包的上传/版本控制/hotfix修复/镜像包构建

2.6 操作系统

如果使用传统的安装方式，不方便应用的隔离，所以我们采用kubernetes + docker的方式，构建一个简单的操作系统，组件的安装/迁移等，都通过k8s的接口来实现

三、总结

本篇文章主要介绍了大数据平台的基本作用和一个必要的功能，通过此概述，我们大概可以了解到一个比较完善的大数据平台，会在工作、学习中大大提高效率

大数据管理平台（一）概述相关推荐

Cloudera Manager大数据管理平台介绍
简介 Cloudera企业解决方案包括Cloudera Hadoop发行版(Cloudera's Distribution Including Apache Hadoop,简称CDH),Clouder ...
浪潮云跻身中国政务大数据管理平台市场领导者位置
近日,IDC正式发布<IDC MarketScape: 中国政务大数据管理平台市场厂商评估,2021>报告,对市场主流代表性厂商进行研究分析.研究结果显示,在战略布局.发展能力.市场份额等 ...
南沙发布全国首个智慧城市物联网大数据管理平台
记者从近日举行的2017广州国际照明博览会(光亚展)上获悉,由中科院孵化的南沙企业--中科智城软件有限公司正式发布了其研制成功全国首个"智慧城市物联网大数据管理平台"(以下简称&q ...
ktv管理系统_著作权大数据管理平台开始公测或将解决KTV行业版权困扰
因为版权问题,KTV一度被要求下架许多歌曲,这给KTV经营者带来了不小的困扰.随着"著作权大数据管理平台"公测的推进,大数据.人工智能等技术或许将消除这一现象,KTV行业将迎来和谐 ...
大数据管理平台助力精准扶贫 “建始经验”将在全省推介
如何在规定时间内实现精准扶贫.精准脱贫,打赢脱贫攻坚战.与全省同步全面建成小康社会?建始县建立精准扶贫大数据管理平台,助力脱贫攻坚的做法,受到肯定.近日,省委办公厅刊发简报推介这一经验,要求各地各部门 ...
云南省依托大数据管理平台反映扶贫工作实现精准监督常态化
据悉,近日云南省创新监督方式,建立全省精准扶贫大数据管理平台,通过扶贫对象.扶贫措施.扶贫成效等功能模块直观反映贫困对象.措施及成效,确保民生监督与脱贫攻坚实现精准对接,实现了政策宣传.精准识别.项目 ...
国产自研开源大数据管理平台DataSophon Manager安装教程
简介 DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署.管理.监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定.高效的大数据集群服务. 主要有以下特性: ...
【ECharts系列|03可视化大屏】大数据管理平台实时展示
基于echats实现可视化大数据管理平台实时展示. 完整html+css+js+json+font+video:https://download.csdn.net/download/weixin_41 ...
深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
http://blog.csdn.net/popsuper1982/article/details/52736084 深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台大家好,欢迎大家参 ...

大数据管理平台（一）概述