简介： 数据集成是简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。

数据中台是当下大数据领域最前沿的数据建设体系, 它并不是从零开始, 无中生有的。数据中台是传统的数据仓库的一种升级, 是数据采集、建设、管理与使用的一整套体系。Dataphin是一个构建数据中台的强大工具, 数据集成是Dataphin的组成部分，负责数据“采”、“建”、“管”“用”中的采集部分。数据集成是简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力，为数据中台的建设打好坚实的数据基座。

(Dataphin：面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力，包括产品、技术和方法论等，助力打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系，以驱动创新。)

数据集成定位

数据集成是数据中台建设中最基础的工作，将不同系统的数据相互打通，实现数据自由离线或实时流动。

面对各行各业对大数据越来越多的应用，对数据集成也有了更多的诉求。包括：能够简单高效的配置大量数据表的同步任务；能够集成多种异构数据源；能够实现对数据源的数据进行轻度预处理；能够实现数据同步任务的调优（例如容错，限速，并发）等。Dataphin的数据集成模块主要面向企业数据开发人员，以组件拖拉拽的形式，帮助企业高效构建大数据流通管道，从而将各种烟囱状态的数据汇聚到数据中台。

数据集成能力

数据集成旨在为用户构建简单高效、安全可靠的数据同步平台：

支持通过整库迁移（快速生成批量同步任务）和一键生成目标表的方式，提高数据集成的效率。
支持流程和转换组件，实现数据源的数据预处理（例如清洗、转换、字段脱敏、计算、合并、分发、过滤等）能力。
支持丰富的异构数据源，实现数据源之间数据高速稳定的同步能力。
支持Dev-Prod和Basic的开发模式，您可以根据业务场景进行灵活选择开发模式。
支持将Dataphin中创建的逻辑表快速地同步到目标库。
用户可自定义系统尚未支持的数据源组件，以满足不同业务场景数据同步的需求。

数据集成场景关注要点

- 易用性

用户进行数据中台建设时，需要集成的表的数量往往很多，需要进行大量重复的繁琐配置工作。

Dataphin的数据集成通过高效的拖拽式操作，自动化一键自动建表、组件复制和整体管道配置复制，批量化的整库迁移等操作可大大提高系统的易用性及操作效率。

Dataphin的数据集成的画布数据的输入、转换、输出组件、采集工作流、采集任务等可视化功能，使管理员直观的掌握数据采集情况。

Dataphin的数据集成在任务搭建过程中支持同步任务试运行、度量查看、数据预览，方便用户进行数据集成任务的调试。

- 多源异构的数据同步能力

在企业信息化建设过程中，由于各业务系统建设和实施数据管理系统的阶段性、技术性以及其它经济和人为因素等因素影响，导致企业在发展过程中积累了大量采用不同存储方式的业务数据，包括采用的数据管理系统也大不相同，从简单的文件数据库到复杂的网络数据库，它们构成了企业的异构数据源。

在数据中台的建设中，需要支持各种异构数据源的数据集成，Dataphin的数据集成可支持30+种数据源的支持，同时可自定义数据源进行灵活接入。

- 数据预处理、同步配置能力

在数据集成过程中，来源端数据会有轻度预处理诉求，比如敏感数据加密、数据过滤、分库分表数据合并、追加字等。也会有各式各样同步配置诉求，如容错，限速，并发，同步过程调试等。

Dataphin的数据集成支持数据清洗转换能力，提供字段计算、合并、分发、过滤、字段脱敏等组件或函数，支持容错配置、并发配置、限速配置等。

以上就是Dataphin的核心功能数据集成的介绍, 希望能帮助您更好地使用Dataphin数据集成功能。

原文链接
本文为阿里云原创内容，未经允许不得转载。

Dataphin功能：集成——如何将业务系统的数据抽取汇聚到数据中台相关推荐

如何将业务系统的数据抽取汇聚到数据中台？
简介:数据集成是简单高效的数据同步平台,致力于提供具有强大的数据预处理能力.丰富的异构数据源之间数据高速稳定的同步能力,为数据中台的建设打好坚实的数据基座. -更多数智化转型.数据中台内容请加入阿里云 ...
集成底座与业务系统对接过程梳理
集成底座作为企业信息化的基础架构平台,主要满足5A管控.主数据治理以及业务集成等需求,通过基础架构的搭建,为企业的信息化建设提供一套全面稳定.标准统一.易于复用.灵活调整的基础环境.集成底座主要包括三 ...
mysql事务中宕机_事务执行一半，业务系统宕机，数据库的数据会怎样？
业务系统提交了一个数据库dml指令,在尚未进行提交时,系统宕机了.那么数据库的数据会是修改前的,还是修改后的?数据库中的连接是否会断开,数据是否会被锁定?带着这些疑问,我们做的如下测试: 1.在数据库 ...
业务系统如何集成工作流引擎?
一般来说,中大型企业基本都有自己成熟的业务系统,只是缺少合适的工作流引擎,这样就只是需要单独集成工作流引擎就可以了,F2BPM可以提供单独的流程引擎集成方案. 那么业务系统如何集成F2BPM流程引擎呢 ...
人月聊IT：对业务系统的可扩展性设计思考
人月聊 IT 读完需要 9 分钟速读仅需 3 分钟对于业务系统本身在架构设计的时候考虑扩展,原来更多的都是谈的 IT 基础技术架构本身的高可用性和高扩展性.而对于业务系统扩展性,简单来说就是如何灵 ...
FreeWheel业务系统微服务化过程经验分享
2016 年下半年开始,FreeWheel 开始将其业务系统从 Rails 单体应用逐步迁移到微服务,同时技术栈从 Rails 改为 Golang,两年之后,整个迁移接近尾声,FreeWheel 业务 ...
统一门户与业务系统的sso整合技术方案（单点登录）
一.单点登录(SSO,Single Sign On)整合目前计划接入统一门户的所有业务系统均为基于JavaEE技术的B/S架构系统.由于统一门户的单点登录技术选用的是JA-SIG组织开发的Cas S ...
微服务业务系统（Biz-UI）的中台构建之路
导读中台是近两年软件开发领域的热点话题,相关的文章也成为了各个技术社区和媒体争相报道的网红内容.作为企业支撑业务开发的核心系统,中台的重要性不言而喻,很多企业也开始尝试中台的构建和落地工作.Biz- ...
abap al设置单元格可编辑 oo_利用WPS做业务系统的超级编辑器
业务系统中的数据很笼统的分可以分为两大类,一个是结构化的,通常用关系型数据库来存储管理:一个是非结构化的,在这类数据中,可能最多.价值密度最大的就是文档.如何更便捷高效的生成或分析文档,就是业务系统通 ...

Dataphin功能：集成——如何将业务系统的数据抽取汇聚到数据中台