Transwarp Inceptor介绍

Transwarp Inceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，它基于Hadoop和Spark技术平台打造，加上自主开发的创新功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难题，帮助企业快速的构建和推广数据业务。

Transwarp Inceptor可提供完整的SQL支持，支持主流的SQL模块化扩展，兼容通用开发框架和工具，支持事务特性保证数据的准确性，允许多租户的隔离与管理，且能够利用内存或者SSD来加速数据的读取，支持与关系型数据库实时对接并做统计分析，辅以高性能的SQL执行引擎，为企业提供高性价比和高度可扩展的解决方案。

Inceptor中星环科技自主开发的创新组件包括：

SQL编译器 SQL 2003 Compiler

企业级数据仓库、数据集市等应用大多基于SQL开发，而Hadoop业界的产品大部分对SQL的兼容程序比较差，或者不支持SQL的模块化扩展，因而应用迁移的成本非常高，甚至是不具备可行性。

为了降低应用迁移成本，Transwarp Inceptor开发了完整的SQL编译器，支持ANSI SQL 92和SQL 99标准, 支持ANSI SQL 2003 OLAP核心扩展，可以满足绝大部分现有的数据仓库业务对SQL的要求，方便应用平滑迁移。

除了更好的SQL语义分析层，Inceptor还包含强大的优化器保证SQL在引擎上有最佳的性能。Inceptor包含3级优化器：首先是基于规则的优化器，应用静态优化规则生成一个优化的逻辑执行计划；其次是基于成本的优化器，通过衡量多个不同执行计划的CPU、IO和网络成本，选择一个相对更合理的计划并生成物理执行计划；最后是代码生成器，对一些比较核心的执行逻辑生成更高效的执行代码或者Java Byte Code，从而保证SQL业务在分布式平台上有最佳性能。

存储过程编译器 PL/SQL Compiler

国内现有的数据仓库应用大都基于SQL 2003，且大量使用存储过程来构建复杂应用。因此为满足需求，除了SQL编译器以外，Transwarp Inceptor还包含存储过程编译器用于对存储过程的编译和执行。

Inceptor支持SQL2003标准，存储过程，兼容Oracle、DB2、Teradata方言，包括完整的数据类型、流程控制、Package、游标、异常处理以及动态SQL执行，并且支持在存储过程中做高速统计，增删改查与分布式事务操作。因此，有了存储过程编译器的补充，Inceptor可以满足绝大部分数据应用的从关系型数据库到Inceptor平台的迁移。

除了SQL语法层面的支持，存储过程编译器包含一个完整的优化器，其中包括CFG Optimizer，Parallel Optimizer，和DAG Optimizer。CFG Optimizer主要用于对存储过程中的代码进行优化，完成循环展开，冗余代码消除，函数内联等主要优化。Parallel　Optimizer用于将一些原本串行的逻辑做并行化处理，利用集群的计算能力来提高整体执行速度，对一些关键的功能如游标的性能提升非常明显。DAG Optimizer会根据生成的DAG进行二次优化，生成更合理的物理执行计划，重点降低Shuffle等任务开销。

为了有效兼容其他数据库，Inceptor支持通过不同的方言设置来隔离不同的SQL标准之间的差异，从而避免数据计算和处理标准的二义性，保证数据处理的正确性。

事务管理单元 Transaction Manager

为了更好的满足数据仓库业务场景的需求，Inceptor提供完整的增删改SQL支持，允许从多数据源中加工数据。同时为了有效的保证数据处理的准确性，Inceptor提供分布式事务的支持，保证了处理过程中数据的ACID（原子性、一致性、隔离性和持久性）。

Inceptor支持以Begin Transaction启动事务，以commit或者rollback来结束事务。事务管理单元通过两阶段封锁协议和MVCC来实现一致性和隔离性的控制，支持Serializable Snapshot Isolation隔离级别，因而可以保证并发情况下的事务一致性。

Inceptor支持SQL 2003中关于增删改查部分的语义规范，支持Insert，Update，Delete，Truncate以及Merge Into原语，支持单条或者从其他数据表以及嵌套查询中更新数据表，并且内置一致性检查功能以防止非法改动。

通过SQL编译器的优化，增删改SQL执行计划通过分布式引擎在集群中并发执行，系统整体的吞吐率可达关系数据库的数倍，能够满足批处理业务的高吞吐率要求。另外，通过合理的资源规划，Inceptor在做数据的增删改的同时，允许租户对数据做高速的统计分析。

分布式内存列式存储 Holodesk

为了加速交互式分析的速度，Inceptor推出了基于内存或者SSD的列式存储引擎Holodesk。Holodesk把数据在内存或者SSD中做列式存储，辅以基于内存的执行引擎，可以完全避免IO带来的延时，极大的提高数据扫描速度。

除了列式存储加快统计分析速度，Holodesk支持为数据字段构建分布式索引。通过智能索引技术为查询构建最佳查询方案，Inceptor可以将SQL查询延时降低到毫秒级。

Holodesk允许用户对多字段组合构建OLAP-Cube，并将cube直接存储于内存或者SSD，无需额外的BI工具构建Cube，因此对于一些复杂的统计分析和报表交互查询，Holodesk可实现秒级的反应。

除了性能优势，Holodesk在可用性方面也表现出色。Holodesk的元数据和存储都原生支持高可用性，通过一致性协议和多版本来支持异常处理和灾难恢复。在异常情况下，Holodesk能够自动恢复重建所有的表信息和数据，无需手工恢复，从而减少开发与运维的成本，保证系统的稳定性。

Inceptor重点优化了基于SSD的Holodesk性能，使得基于PCIE SSD的性能达到全内存方案的80%以上。因此结合使用低成本的内存、闪存混合存储方案，可接近全内存存储的分析性能，保证解决方案的高性价比。

分布式执行引擎 Distributed Execution Engine

Inceptor基于Apache Spark深度开发了专用分布式计算引擎，不仅大幅提高了计算性能，而且有效的解决了Spark在稳定性方面的很多问题，确保计算引擎能够7x24小时无间断运行。此外，Inceptor引擎独立构建了分布式数据层，将计算数据从计算引擎JVM内存空间中独立出来，可以有效减少JVM GC对系统性能和稳定性的影响。

在SQL执行计划优化方面，Inceptor实现了基于代价的优化器和基于规则的优化器，辅以100多种优化规则，以保证SQL应用在无需手工改动的情况下能够发挥最大的性能。对于数据倾斜等常见的数据处理难题，执行引擎也能够自动识别并加以优化，可解决绝大部分存在数据倾斜的计算场景，杜绝数据倾斜对系统稳定性的影响。 +　　为了更好的适应各种数据场景，Inceptor的执行引擎包含两种执行模式：低延时模式和高吞吐模式。低延时模式主要应用在数据量比较小的场景，执行引擎会生成执行延时低的物理执行计划，通过减少或避免一些高延时的任务（如IO，网络等）来保证SQL较短的执行时间，达到或者逼近关系型数据库在这些场景下的性能。高吞吐模式主要应用在大数据的场景，通过合理的分布式执行来提高超大数据量上的复杂统计分析的性能。因此，Inceptor的执行引擎可以满足从GB到PB的各种数据量上的数据业务需求。

数据源连接器 Stargate

企业数据可能会分散在多个系统中，彼此无法共享数据或者进行相关的分析，从而造成数据孤岛的现象。构建统一的大数据平台可以有效的解决大部分场景下的数据孤岛问题。采用统一的大数据平台之后，会存在一些数据因为各种关系无法迁移统一平台上的现象。为了解决此类问题，Inceptor推出了数据源连接器Stargate。

Stargate是连接执行引擎和各种数据源的连接器，可将多种不同数据源的数据接入引擎做实时的统计分析，无需事先将数据导入HDFS，从而方便用户的业务构建多样化需求。

在语法层面，Inceptor兼容Oracle DB-Link规范，通过创建database link来预先建立和其他数据源的连接池，接着就可以在SQL中通过 table_name@database link的方式在Inceptor中实时访问该数据源的数据，无需其他操作。在执行计划开始后，Stargate通过预先建立的连接从其他数据源中抽取需要的数据，输入进入执行引擎层参与SQL计算。在计算完成后，释放相关的数据库连接以及对应的资源。

目前Stargate支持关系数据库包括Oracle，DB2，Mysql，Teradata以及PostgreSQL。此外，Stargate目前可以接入Holodesk，HDFS，Hyperbase等平台内数据源，未来将支持Redis等为数据源。

中间件管理单元 Connector

Inceptor完整的支持JDBC4.0和ODBC3.5标准，因此能够支持Hibernate/Spring等中间件，完全兼容Tableau/QlikView/Cognos等报表工具，可以和企业当前的数据应用层完整对接。

此外，Inceptor也支持与其他数据同步工具的对接，已经完成了和IBM CDC的相互认证与整合，并且能够支持Oracle Golden Gate、SAP Data Service等工具。因此，企业用户可以实时的将交易数据同步到Inceptor内做交互式统计分析业务。

Transwarp Inceptor介绍相关推荐

Transwarp Inceptor中的对象
1.1. Inceptor中的对象在Inceptor中,您可以使用常见的数据库对象,包括数据库(database),表(table),视图(view)和函数(function).您可以使用Incep ...
BI报表分析和数据可视化，推荐这三个开源工具！
开源篇一.Superset 1.技术架构:Python + Flask + React + Redux + SQLAlchemy 2.使用人群: (1)开发/分析人员做好看板,业务人员浏览看板数据 ...
FineReport的数据库
定义数据连接是将数据库与设计器进行绑定,通过数据连接,报表就可以从数据库中读取.写入数据和修改数据等. 1. 数据支持类型 FineReport连接数据源的方式多种多样,支持通过JDBC的方式直接连 ...
盘点：全球12个大数据公司
本文整理了当今世界上在大数据领域最具话语权的企业,特别是活跃在中国市场上的企业,它们有的是计算机或者互联网领域的巨头,有的是刚刚创办不久的初创企业.但它们有一个共同点,那就是它们都看到了大数据带来的大 ...
数据分析未来趋势-BI软件
一.什么叫 BI 软件 BI 软件是商业智能(Business Intelligence)软件的英文缩写.商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具. 商 ...
TDH和CDH的简介和对比
前言 hadoop是一个开源项目,所以很多公司在这个基础进行商业化,下面简单介绍下应用比较广泛的TDH和CDH两个版本. [TDH] TDH:Transwarp Data Hub 1 Transwar ...
万字解读 | 数据可视化平台--FineBI
什么是BI 学习目标知道什么是BI 知道FineBI的优势 1. 商业智能: BI(Business Intelligence)是指通过收集.分析和解释企业内外部数据,为企业决策提供支持和指导的一种 ...
10个大数据领域的杰出公司
本文筛选了近几年在大数据领域具有独特建树的10家企业,涵盖云计算.数据可视化.数据分析应用.商业智能等不同范畴.在大数据领域虽然国外的优秀企业占众多数,但是国内也有不少企业在国数据应用市场创造了不可磨 ...
中国主流的大数据分析厂商
随着互联网和IT技术的推进,大数据的应用逐渐渗透到各行各业.尤其是数据体量大的互联网.金融.银行.制造行业.大数据正逐渐改变企业的运营模式,市场导向,进而惠及人们的生活. "大数据" ...

Transwarp Inceptor介绍

Transwarp Inceptor介绍相关推荐

最新文章

热门文章