数据交换平台_从零开始理解大数据架构之数据交换平台
项目简介
Exchangis是一个轻量级的、高扩展性的数据交换平台,支持对结构化及无结构化的异构数据源之间的数据传输,在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性,而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。
Exchangis的传输交换能力依赖于其底层聚合的传输引擎,其顶层对各类数据源定义统一的参数模型,每种传输引擎对参数模型进行映射配置,转化为引擎的输入模型。每聚合一种引擎,都将增加Exchangis一类特性,对某类引擎的特性强化,都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。
核心特点
- 数据源管理以绑定项目的方式共享自己的数据源;设置数据源对外权限,控制数据的流入和流出。
- 多传输引擎支持传输引擎可横向扩展;当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP
- 近实时任务管控快速抓取传输任务日志以及传输速率等信息,实时关闭任务;可根据带宽状况对任务进行动态限流
- 支持无结构化传输DataX框架改造,单独构建二进制流快速通道,适用于无数据转换的纯数据同步场景。
- 任务状态自检监控长时间运行的任务和状态异常任务,及时释放占用的资源并发出告警
与现有的系统的对比
对现有的一些数据交换工具和平台的对比:
整体设计
架构设计
项目开源地址:https://gitee.com/WeBank/Exchangis
数据交换平台_从零开始理解大数据架构之数据交换平台相关推荐
- 数据统计 测试方法_统计测试:了解如何为数据选择最佳测试!
数据统计 测试方法 This post is not meant for seasoned statisticians. This is geared towards data scientists ...
- hive 如果表不存在则创建_从零开始学习大数据系列(四十七) Hive中数据的加载与导出...
[本文大约1400字,阅读时间5~10分钟] 在<从零开始学习大数据系列(三十八) Hive中的数据库和表>和<从零开始学习大数据系列(四十二)Hive中的分区>文章中,我们已 ...
- 智慧零售数据可视化分析_零售行业大数据分析应用
今年的双11和往年相比似乎有一点冷清,各大电商平台在数据披露上都低调了起来.在这样的氛围下,各位电商运营更要自己"支楞起来",用心做好自家活动的复盘总结. 这个时候数据分析的技能就 ...
- 一维数据高斯滤波器_透彻理解高斯混合模型
高斯混合模型GMM是一个非常基础并且应用很广的模型.对于它的透彻理解非常重要. 本文从高斯分布开始逐步透彻讲解高斯混合模型 高斯分布 高斯分布有两个参数: μ = mean(数据的中心) σ2 =va ...
- 写给初学大数据的你,从零开始学习大数据开发的完整学习路线
最近很多人都想学习大数据开发,但是却不知道如何开始学习,今天专门整理了一份针对大数据初学者的大数据开发学习路线. 下面分十个章节来说明大数据开发要学习的内容: 互联网科技发展蓬勃兴起,人工智能时代来临 ...
- 苏宁大数据怎么运营_运营商大数据精准获客
说到运营商大数据公司的精准拓荒者,现在市场上很多人都在进行相关的业务流程,但做的人多的话就不好,所以很多公司找不到可靠的运营商大数据服务供应商. 大部分是不可靠的,所以喊着运营商大数据的精准拓客招牌, ...
- 华为大数据中心山西_吕梁智能大数据产业技术创新研究院 、华为山西(吕梁)大数据中心吕梁职业技术学院大数据学院同日揭牌成立...
图为吕梁智能大数据产业技术创新研究院揭牌仪式现场.记者王益炜摄 在第二届"数谷吕梁·智赢未来"吕梁大数据产业发展推介会举办之际,8月18日,吕梁智能大数据产业技术创新研究院.华为山 ...
- mysql多客户端数据不同步_一种多终端设备上的数据同步方法
一种多终端设备上的数据同步方法 [技术领域] [0001] 属于移动通信技术领域,特别是涉及基于离网环境下多种移动终端设备之间的数 据同步的方法. 技术背景 [0002] 90年代未,数据同步始于有线 ...
- 基于数据库数据增量同步_基于 Flink SQL CDC 的实时数据同步方案
简介:Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统的 ...
最新文章
- 鼠标样式(cursor)
- .NET 2.0 CER学习笔记
- 前端框架——Jquery——基础篇2__获取DOM节点的值
- o2 atom(HP rw68xx)系列手机将可以使用Android。
- SpringMvc 面试题
- mysql流式查询mybatis_流式查询:MyBatis千万级数据查询解决方案,避免OOM
- 今年是SAP进入中国25周年,我从2007年毕业进入SAP成都研究院,也马上就待满14年了。
- 算法4------字符串的字典序最长子序列
- 谷歌大改Transformer注意力,速度大涨,显存大降!
- linux sz到指定的机器,linux 机器之间 zssh, rz, sz互相传输讲解
- Oracle归档日志管理
- PhpStorm下Laravel代码智能提示
- margin塌陷现象div盒子嵌套盒子外边距合并现象
- 图像滤镜艺术---Wave滤镜
- 黑客帝国里的代码雨-java代码实现
- Invest模型中HAbitat quality(生境质量)的计算过程
- kmeans聚类算法_常用聚类算法综述
- 每日一算法:杨辉三角形
- 【挨踢人物传】李晨光:兴趣铸就专业,努力决定成败
- Java实现坦克大战小游戏
热门文章
- Node.js Electron的扩展模块
- Vue全家桶实战03_【从入门到放弃系列】
- java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing
- 每日两SQL(1),欢迎交流~
- Spark _13_二次排序问题
- 使用基本工具类和预编译进行对数据库的增删改查
- java基础---System类
- leetcode 767. Reorganize String | 767. 重构字符串(贪心+分桶+26路归并)
- MySQL调优(三):索引基本实现原理及索引优化,哈希索引 / 组合索引 / 簇族索引等
- C++ STL栈Stack的使用