DataSophon——国产开源一站式运维平台
1、DataSophon是谁开源的？
国内某大厂
2、DataSophon想干嘛？
致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助您快速构建起稳定，高效的大数据集群服务。
3、DataSophon是什么？
DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
4、DataSophon都有哪些特性？
极易部署,1小时可完成300节点的大数据集群部署
国产化兼容,兼容arm服务器和常用国产化操作系统
监控指标全面丰富，基于生产实践展示用户最关心的监控指标
灵活便捷的告警服务，可实现用户自定义告警组和告警指标
可扩展性强，用户可通过配置的方式集成或升级大数据组件
5、DataSophon架构图
6、DataSophon架构翻译一下？
集群分为三大部分：管理节点、工作节点、监控
管理节点负责管理工作节点、工作节点上部署组件、负责任务执行
运维监控体系是独立的，通过prometheus+exporter采集组件状态参数，grafana负责运维可视化，通过alertmanager进行告警，这一套是现在主流的采集、存储、可视化、告警的，每一步都是单独的
管理员和运维人员通过管理节点实现节点上下线、扩容等
集群部署维护节点的元数据存储在mysql中，所以兼容jdbc协议，也可以用其他数据库替换mysql
7、DataSophon可以集成哪些组件？
| 序号 | 名称 | 版本 | 描述 |
|---|---|---|---|
| 1 | HDFS | 3.3.3 | 分布式大数据存储 |
| 2 | YARN | 3.3.3 | 分布式资源调度与管理平台 |
| 3 | ZooKeeper | 3.5.10 | 分布式协调系统 |
| 4 | FLINK | 1.15.2 | 实时计算引擎 |
| 5 | Spark | 3.1.3 | 分布式计算系统 |
| 6 | Hive | 3.1.0 | 离线数据仓库 |
| 7 | Kafka | 2.4.1 | 高吞吐量分布式发布订阅消息系统 |
| 8 | Trino | 367 | 分布式Sql交互式查询引擎 |
| 9 | StarRocks | 2.2.2 | 新一代极速全场景MPP数据库 |
| 10 | Hbase | 2.0.2 | 分布式列式存储数据库 |
| 11 | Ranger | 2.1.0 | 权限控制框架 |
| 12 | ElasticSearch | 7.16.2 | 高性能搜索引擎 |
| 13 | Prometheus | 2.17.2 | 高性能监控指标采集与告警系统 |
| 14 | Grafana | 9.1.6 | 监控分析与数据可视化套件 |
| 15 | AlertManager | 0.23.0 | 告警通知管理系统 |
8、搭建和环境依赖？
首先DataSophon是一套自动化运维搭建平台，集成服务是jar包形式，目前目录中列出的组件，提供好了对应的jar包，相当于jar包仓库，按照要求放在对应的目录中，搭建分布式服务时通过jar包分发的形式进行，然后调用os，进行解压，修改配置等操作。
基于上述，在服务集成上相对于cdn，hdp很方便。
9、rpc技术选型？
管理端与工作端通信选择akka框架。选型依据如下：
（1）Actor并发模型，支持协程，比线程小很多，高并发性能高。
（2）非常轻量的事件驱动处理机制（1GB内存可容纳约270万个Actor）。
（3）可以以jar包形式集成到现有框架，简洁易用，无其他依赖。
（4）具备容错机制，允许在Actor出错时进行一些恢复或者重置操作。
（5）消息传递支持exactly once。
（6）相对于netty，学习成本，使用成本更低。
10、当前版本能做的事？
支持多集群管理。
支持配置集群管理员，集群管理员具备集群操作管理权限，普通用户只有查看权限。
支持HDFS ，YARN，Hive , Kafka , ZooKeeper，Flink , Spark 等常用大数据组件。
支持集群总览监控。
支持各服务组件总览监控。
支持服务启动，停止，重启等操作。
支持服务角色启动，停止，重启，删除等操作。
支持Yarn公平调取器管理。
支持主机管理，支持实时监控主机Cpu使用率，内存使用率，磁盘使用率等常用指标。
支持告警管理，支持自定义告警指标。
支持服务配置文件修改。
支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示。
支持各大数据服务Web UIs便捷访问。
支持在线查看服务角色日志。
DataSophon——国产开源一站式运维平台相关推荐
- 《开源安全运维平台OSSIM最佳实践》实验环境下载
<开源安全运维平台OSSIM最佳实践>实验环境下载 由清华大学出版社首发.当当.京东自营店.天猫.亚马逊均有销售. OSSIM开源安全交流QQ群: 179084574 经多年潜心研究开源 ...
- 让你久等了《开源安全运维平台OSSIM疑难解析--入门篇》正式出版
2019年暑期,众所期待的新书<开源安全运维平台OSSIM疑难解析--入门篇>由人民邮电出版社正式出版发行.此书从立意到付梓,历时超过两年,经过数十次大修,历经曲折与艰辛,希望为大家代奉献 ...
- 让你久等了！《开源安全运维平台OSSIM疑难解析--入门篇》9月上市
2019年暑期,众所期待的新书<开源安全运维平台OSSIM疑难解析--入门篇>开始印刷,9月份即可预售.此书从立意到付梓,历时超过两年,经过数十次大修,历经曲折与艰辛,希望为大家代奉献一本 ...
- 《开源安全运维平台OSSIM最佳实践》
<开源安全运维平台OSSIM最佳实践> 经多年潜心研究开源技术,历时三年创作的<开源安全运维平台OSSIM最佳实践>一书即将出版.该书用80多万字记录了,作者10多年的IT行业 ...
- 开源安全运维平台OSSIM疑难解析：资源下载
1.<开源安全运维平台OSSIM疑难解析--入门篇> 我要试读 图书资源下载:http://box.ptpress.com.cn/y/978-7-115-50550-7 2.<开源安 ...
- 《开源安全运维平台OSSIM最佳实践》当当自营店 3-15活动 ,仅售 6 折
2019独角兽企业重金招聘Python工程师标准>>> <开源安全运维平台OSSIM最佳实践>当当自营店 3-15活动 ,仅售 6 折. 购书地址: http://pro ...
- 《开源安全运维平台OSSIM最佳实践》当当自营店 315活动 仅售6折
<开源安全运维平台OSSIM最佳实践>当当自营店 3-15活动 ,仅售 6 折. 购书地址: http://product.dangdang.com/23903741.html
- 服务治理(系统监控篇): 开源一站式运维管家ChengYing（承影）
文章目录 简介 一.特性 1.自动化部署 2.界面化集群运维 3.仪表盘集群监控 4.实时告警 5.强拓展性 6.安全稳定 二.操作界面 三.未来 四.总结 其他 简介 继ChunJun(纯钧).Ta ...
- CMDB、bk-cmdb、Adminset 开源cmdb运维平台
CMDB 项目地址:https://zhuanlan.zhihu.com/p/34191320 自动安装脚本(python3.docker),前提是安装python3,安装教程请查看centos7下安 ...
最新文章
- 1 字节的 utf-8 序列的字节 1 无效_字节码文件结构详解
- 网上服务器租借要多少钱_台湾租借日本服装多少钱-北京和益文化传媒有限公司...
- python解释器内建函数002
- php数组的值传递给另一个数组,如何把一个固定数组的值传递给另外一个数组
- 势头强劲的 Python PK 强大的 C++，究竟谁更胜一筹？
- swift int转string_用Swift开发macOS程序，九、目录模块
- 手机应用宝占用了8G
- commandname
- 生信搬运工-02-sra文件的下载
- 漫谈数据仓库中的元数据管理
- empty怎么发音_empty怎么读?empty是什么意思?
- Win10电脑怎么取消开机密码？
- 27 信息过滤与反垃圾
- FDTD Solutions自学整理笔记入门教程（2）：PML
- 我是一名Linux系统运维工程师
- Unity与讯飞的aiui交互
- 关于应用程序无法正常启动0xc000007b的解决方案
- Jenkins Pipeline预研
- 学生信息管理系统——python版（附流程图）
- Android textview设置ttf字体库本地库和网络库使用的两种方式