Kylo调研总结（一）
定位
Kylo定位于企业级的数据湖管理平台（Data Lake Platform），它是基于Spark和NiFi的开源数据湖编排框架，Kylo提供的主要特性包括数据获取、数据准备和数据发现，并支持元数据管理、数据治理和高级安全特性。
厂商信息
Kylo是由Teradata天睿公司开源，并被航空、保险、电信、金融服务、银行和零售行业的全球Top N公司所应用。
经典场景
通过Kylo的GUI界面，业务人员可以按照他们关心的方式来操作数据，包括:创建数据源、定义数据加载、数据预处理、转换，发布到目标系
Kylo系统介绍
系统组件
- Kylo-ui：即前端web组件，主要包括Operations、Feed Manager和Admin三个一级功能：
- Operations：提供仪表盘、服务状态监控、Job执行概览、告警查看、SLA调度等功能。
- Feed Manager：提供Feed管理、目录分类、SLA、可视化查询以及数据预览等能力。
- Admin：提供用户管理、分组管理、数据源管理、模板管理等功能。
- kylo-services：Kylo服务后端，为前端提供Rest ful接口，并实现Job 仓库、元数据仓库的管理能力，并负责与依赖组件如ES、NiFi、Hadoop Cluster的通信。
系统依赖
Kylo的安装和运行依赖于多种外部组件，组件及其作用如下所示
概述说明如下：
MySQL/PG/MS SQL Server :kylo需要使用关系型数据库实现其元数据存储与管理
MQ：用于不同组件之间的消息通信
JDK：Kylo运行在java虚拟机中
ES/Solr:用于Hive中元数据或Feed数据的全局搜索（前提是在创建Feed时需要指定索引）
Spark、Hive、HDFS：Kylo具有调用大数据集群的能力，Kylo默认将Spark作为Hive的执行引擎。
组网模式
Kylo的自有服务和依赖服务可以分开部署，也可以部署在一台服务器上。Kylo既支持单机模式也可以集群方式。
组网结构如下所示：
与大数据系统的关系
在物理上，Kylo既独立于源系统和目标系统，同时也与CDH/HDP Cluster相互独立。但Kylo需要集成Hive、HDFS、Spark等的lib库，从而实现与大数据集群的通信。
Kylo集成的部分lib库如下所示：
与NiFi的关系
Kylo依赖NiFi实现数据流编排的能力，即Kylo中对数据的处理依赖于NiFi中的模板，在工作中需要先在NiFi中完成模板定义，然后从NiFi中导出并导入到Kylo中，如下所示：
NiFi中的数据流：
NiFi中的模板：
Kylo中的模板：
Kylo调研总结（一）相关推荐
- 2022-2028年中国自动驾驶系统行业现状调研分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国自动驾驶系统行业市场行业相关概述.中国自 ...
- 2022-2028年中国UI设计行业现状调研分析及发展趋势研究报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国UI设计行业市场行业相关概述.中国UI设 ...
- 2022-2028年中国儿童医疗行业深度调研及投资前景预测报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国儿童医疗行业市场行业相关概述.中国儿童医 ...
- 2022-2028年中国果壳活性炭行业市场发展调研及竞争战略分析报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国果壳活性炭行业市场行业相关概述.中国果壳 ...
- 2022-2028年中国抗肿瘤药物行业市场分析调研及发展趋势研究报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国抗肿瘤药物行业市场行业相关概述.中国抗肿 ...
- 2021-2027年中国医联体（医疗联合体）建设深度调研及投资前景预测报告
[报告类型]产业研究 [报告价格]4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国医联体(医疗联合体)行业市场行业相关概述 ...
- 2022-2028年中国干洗行业市场全景调研与投资前景预测报告
[报告类型]产业研究 [报告价格]¥4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国干洗行业市场行业相关概述.中国干洗行业 ...
- 2022-2028年中国高密度聚乙烯(HDPE)行业市场发展调研及投资前景分析报告
[报告类型]产业研究 [报告价格]¥4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国高密度聚乙烯(HDPE)行业市场行业相 ...
- 2022-2028年中国环卫行业产业链深度调研及投资前景预测报告
[报告类型]产业研究 [报告价格]¥4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国环卫行业市场行业相关概述.中国环卫行业 ...
- 2022-2028年中国老年旅游市场深度调研及开发战略研究报告
[报告类型]产业研究 [报告价格]¥4500起 [出版时间]即时更新(交付时间约3个工作日) [发布机构]智研瞻产业研究院 [报告格式]PDF版 本报告介绍了中国老年旅游行业市场行业相关概述.中国老年 ...
最新文章
- HDU 2444 The Accomodation of Students （二部图+染色）
- 未明确定义列存储过程没问题_使用Apache Kudu和Impala实现存储分层
- java学习视频网站_学习Java的视频网站
- 西工大计算机学院交流,2017西工大计算机交流+精贵资料
- 我的家乡主题网页设计
- 20个免费和高质量的Android图标集—最佳
- 【转载】Oracle关于expdp、impdp以及rman介绍
- 23王道——中序线索树
- Go-Excelize API源码阅读（二十五）——GetSheetName、GetSheetIndex、GetSheetMap()
- 吴恩达机器学习______学习笔记记录#八、神经网络---表述
- JavaScript系列之高级篇（2）
- RK系列SDK -- Android HFP蓝牙通话音频处理（蓝牙音箱方案）
- 编写程序，由键盘输入三个整数分别存入变量num1,num2,num3中，对它们进行排序， 使用if-else结构，并按从小到大的顺序输出
- snmpwalk 安装与使用详解-windows下
- peewee操作mysql_Peewee 使用
- 小米公司2021秋招面试题目整理
- 在SpringMVC项目中使用HIkariCP
- PHP - strtotime()的慎用
- 经典CVE：破壳漏洞
- 联通MM7彩信平台技术