DTCC 干货分享：Real Time DaaS - 面向TP+AP业务的数据平台架构
2021年10月20日，Tapdata 创始人唐建法（TJ）受邀出席 DTCC 2021（中国数据库技术大会）,并在企业数据中台设计与实践专场上，发表主旨演讲“Real Time DaaS ：打造面向 TP+AP 业务的数据平台架构”，从 AP 业务场景 vs. TP 业务场景、常见数据平台优劣势、如何打造面向 TP+AP 业务的数据平台等角度，全面分享了 Tapdata 在全链路实时数据融合平台的独特技术优势和最佳实践案例，整场分享干货满满、广受好评。
从20年前的传统数仓，到10年前大数据平台，5年前开始火热的数据中台以及最近出现的湖仓一体新数据平台，企业对这些 AP 业务场景的数据产品及架构有着太多的选择，但是实际上，企业在 TP 类型业务上的投入和 AP 相比是9：1，为什么没有面向 TP 业务的数据平台呢？
唐建法指出，之所以 TP 业务数据平台还不多见，是因为数据孤岛问题不严重的时候，TP 只需要一个RDBMS 就可以解决，同时由于 Technical Difficulty，缺乏合适的工具和技术架构，TP 业务数据平台难以推广。
TP vs. AP 不难发现，他们有着较大的差异和特点。从业务场景来看 OLTP 如常见的：在小程序上一套新的CRM、租房子（房屋租赁平台）等，与之对应的 OLAP 场景就是：用户行为洞察（用户对哪些产品关注比较多，哪些产品比较赚钱）、租房客户推荐（ 根据客户行为打上标签，并推荐相应的房源） ，其中 OLTP 切中的是企业核心运营价值链。
从技术维度来看，OLTP 要求毫秒级的数据响应速度，数百 ~ 数十万的并发查询量，而 OLAP 通常可接受数秒到分钟级的数据响应速度和数个到数十个的并发查询。在存储方案上，OLTP 常用Oracle,MySQL,SQLServer,PostgreSQL,DB2,MongoDB,Elastic,Redis 等，而 OLAP 常用Teradata,Greenplum,Hadoop等。
既然 TP 业务场景价值更高，且需求非常明确，那么如何打造一个面向 TP 业务的数据平台架构？类似与IaaS，PaaS或者SaaS，Tapdata 给出的方案是提供一个 DaaS (Data as a Service)： 将企业各个业务系统的数据汇总到一个中央化平台，经过低代码方式治理以后，形成可复用的企业数据资产，通过无代码数据接口方式提供给业务使用方。
唐建法结合 Tapdata 在全链路实时数据平台方面的实践，重点解析了 Tapdata Real Time DaaS 架构的特点和创新点：一个“实时同步+实时处理+实时服务”三位一体的全链路实时数据处理及服务平台。
DaaS 架构之一：实时数据采集同步。Tapdata 的第一步就是将批量、滞后的 ETL 换成了 CDC 方式，基于数据库 Write Ahead Log 日志同步监听的方式来进行在不同系统之间的数据复制，它的优势在于：对源库性能影响小；资源消耗少；从事务在源端提交开始到更新写入同步的目标库，延迟可以小于1秒，能够满足对实时性要求较高的业务场景；
DaaS 架构之二：基于Pipeline的流式数据处理建模。当我们把需要的数据从源库里面无侵入、准实时地抽取了出来之后，可能还需要：对来自多个库的数据进行合并；对表结构进行重构，组成新的模型；构建业务宽表等。基于 Tapdata 实时流数据处理技术，可以实现事件触发、毫秒级数据更新、不间断持续运行，从而满足 TP 业务和实时分析等场景需求。
DaaS 架构之三：基于分布式数据库 MongoDB 或 TiDB 的中间库存储。相比 AP 数据平台常用的 Hadoop 大数据存储方案， 比较成熟的分布式数据库（MongoDB 或 TiDB） 更适合作为 DaaS 的存储方案。主要原因是 DaaS 的很大一部分能力需要直接对接业务系统，高并发，毫秒级响应是必备的能力。这种能力只有基于索引机制的分布式数据库才可以做到。MongoDB 的模型变动灵活，非常适合多源快速融合，无需复杂关系建模。而 TiDB 的 HTAP 则能不错的支撑一些常见的分析业务。
此外，Tapdata Real Time DaaS 还具备易集成、易拓展、低代码、可视化等优势，相比自建实时数据平台不仅落地实施快、排错难度低，还可以大幅降低学习成本。
最后，TJ 对 Tapdata Real Time DaaS 的主要技术场景和业务场景做了总结梳理：
如果你是一个应用架构师或者数据架构师，DaaS架构可以在以下几方面作为选型参考：
- 技术场景一：快速数据交付。TiDB, Neo4J，Nebula, Elastic Search, GreatDB, Dameng, 数不胜数的新型数据库和国产数据库品牌都在各个企业生根发芽，而每一个新数据库场景的落地，都有可能需要获取已有业务系统的数据。DaaS 价值：直接从 DaaS 导入并保持持续同步，满足实时数据更新的需求，从数周的时间缩短到数小时内完成数据交付；
- 技术场景二：实时数据中台。实时打通企业数据孤岛，对数据进行实时采集，治理及建模，构建企业的主数据系统，为企业的交互式业务，包括客户管理、生产运营管理等提供一个完整全面的企业数据底座。DaaS 价值：孤岛数据汇聚，中央化数据存储，去重、合并、重新建模，主数据管理，构建数据目录，主要支撑前端交互式业务。
- 技术场景三：实时数据大屏。为帆软、Tableau或自研的数据可视化平台提供数据固化视图，以亚秒级的性能为这些可视化平台供数。和传统大屏依赖 SQL 和逻辑视图的方案，实时大屏交互体验无需等待，非常流畅。DaaS 价值：数据采集同步，宽表构建，统计聚合计算。
- 技术场景四：实时数仓。将企业主数据及运营数据统一汇聚到平台，按照数仓分层理论分成基础数据，主数据和汇总数据层， 为企业BI、报表等提供快速的数据支撑。DaaS 价值：数数据同步，数据分层，数据目录，分析聚合能力。
- 技术场景五：企业数据服务平台。企业内部部门众多，各业务均需要获取企业相关运营数据，通过构建一个统一的数据服务平台，部门可以快速的获取业务所需要的数据，并且通过API方式可以实现自助访问。DaaS 价值：数据同步，数据目录，API发布，基于内存的数据库，高并发查询。
如果你更关注 DaaS 可以创造什么样的业务价值，以下是几个比较常见的场景 DaaS 架构会为企业实现这些业务提供显著的降本增效的能力：
1.业务场景一：全渠道商品及库存中心。大型企业往往有不同业务线，由不同IT部门支撑，并且有线上线下等不同渠道。全渠道营销需要打通各个业务系统，将商品，客户，订单，库存，会员等信息进行统一，给最终客户一个全渠道商品检索，订购和售后的最佳体验。DaaS 价值：提客户体验：一站式购物；IT效率：逐渐下架传统渠道。
2.业务场景二：SCRM。小程序、钉钉等建立新一代客户关怀系统或银行推出一套新的个贷/信用卡业务等。DaaS价值：提供完整实时的客户信息给前端业务，加速业务系统的上线。
3. 业务场景三：360度客户视图。客户信息在多套 CRM系统维护，信息不一致，更新不及时，无法有效进行 cross sale 和upsale，客户服务体验差，没有统一的入口管理客户信息。DaaS 价值：提高客户体验： 提供准确统一的客户信息；提高营收:准确的客户标签和相应的推荐带来更多收入。
4.业务场景四：实时风控。银行个贷，互金小额贷，保险等在线金融业务需要对客户进行实时风险管控。做法是将来自于金融系统和外部系统（信用、司法、公安等）的个人数据进行统一汇聚，在申请流程中实时查询客户的风险信息并提供个算法引擎做决策。DaaS价值：完整实时的信息为风控提供高质量的判断，降低坏账率，提高营收利润。
在分享结束后提问环节，TJ 回答了的一个常见的用户问题：Tapdata 可以用来做数据打通，形成一个可复用的实时数据平台，但是我们往往首要的业务诉求往往是做一些统计分析，大屏展示和运营指标。这样的话是否合适使用 Tapdata 呢？TJ 解释到，这些偏向于运营指标和聚合类计算的属于相对简单的分析场景，是完全可以在 DaaS 平台里完成。作为存储的 MongoDB 自带丰富的聚合框架计算能力，Tapdata 的流式计算也提供聚合框架，基本上可以以流式预聚合 + 数据库聚合计算两种技术能力支撑上述的数据场景。 相较于大数据平台，Tapdata 的方案能够提供更加准确，更加即时的数据指标和实时分析结果。
获取完整演讲 PPT 内容，请点击：http://tapdata-user.mikecrm.com/Z1V3zoT，了解更多 Tapdata Real Time DaaS 相关干货内容请关注 Tapdata 技术博客：https://tapdata.net/blog.html ，免费试用请点击：http://tapdata-user.mikecrm.com/IpE21eG 。
原文地址：https://tapdata.net/DTCC-speech-on-Real-Time-DaaS.html?fromColId=2
DTCC 干货分享：Real Time DaaS - 面向TP+AP业务的数据平台架构相关推荐
- 数据孤岛下的新破局 Real Time DaaS：面向 AP+TP 业务的数据平台架构
从传统数仓,到大数据平台,再到数据中台和湖仓一体新数据平台,在日益加重的数据孤岛困扰下,面向AP场景的解决方案可谓浩如烟海.但实际上,企业在TP类型业务上的投入和AP的比率却高达9:1,为什么没有为T ...
- 网易大数据平台架构实践分享！
随着网易云音乐.新闻.考拉.严选等互联网业务的快速发展,网易开始加速大数据平台建设,以提高数据获取速度,提升数据分析效率,更快发挥数据价值. 本次演讲主要分享网易如何围绕和改造开源技术,以产品化思维打 ...
- 余利华：网易大数据平台架构实践分享！
[IT168 专稿]本文根据余利华老师在2018年5月10日[第九届中国数据库技术大会]现场演讲内容整理而成. 讲师简介: 余利华,网易大数据总经理,负责网易数据科学基础设施建设, 包括大数据管理和应 ...
- linux mysql 误删系统文件恢复_干货分享丨如何恢复Linux下误删/etc目录数据
对于运维工作者来说,可能最让人担心的,是服务器宕机: 最让人无助的,是被DDOS: 而最让人心惊肉跳的,是rm -rf *这个命令-- 当你执行rm -rf命令时,万一哪个变量没赋值 听说过被删空服务 ...
- linux etc目录 删除,干货分享丨如何恢复Linux下误删/etc目录数据
@悬镜安全实验室 前言 对于运维工作者来说,可能最让人担心的,是服务器宕机: 最让人无助的,是被DDOS: 而最让人心惊肉跳的,是rm -rf *这个命令-- 当你执行rm -rf命令时,万一哪个变量 ...
- linux重启后etc目录被还原,干货分享丨如何恢复Linux下误删etc目录数据
对于运维工作者来说,可能最让人担心的,是服务器宕机: 最让人无助的,是被DDOS: 而最让人心惊肉跳的,是rm -rf *这个命令-- 当你执行rm -rf命令时,万一哪个变量没赋值 听说过被删空服务 ...
- PgSQL · 案例分享 · PostgreSQL+HybridDB解决企业TP+AP混合需求
背景 随着IT行业在更多的传统行业渗透,我们正逐步的在进入DT时代,让数据发挥价值是企业的真正需求,否则就是一堆废的并且还持续消耗企业人力,财力的数据. 传统企业可能并不像互联网企业一样,有大量的开发 ...
- （干货分享）农商行中商业智能建设的整体思路与架构
商业智能系统并非一个单独的系统,数据主要来源于ERP.WMS.SCM等业务系统.办公系统或互联网的数据文件,通过ETL(Extraction-Transformation-Loading的缩写)工具提 ...
- IM开发干货分享：网易云信IM客户端的聊天消息全文检索技术实践
1.引言 在IM客户端的使用场景中,基于本地数据的全文检索功能扮演着重要的角色,最常用的比如:查找聊天记录.联系人,就像下图这样. ▲ 微信的聊天记录查找功能 类似于IM中的聊天记录查找.联系人搜索这 ...
- uds下载服务流程图_UDS诊断全集，干货分享
UDS诊断是Unified Diagnostic Services的全称,其标准是ISO14229,ISO15765,文末可获取链接. 其中: ISO14229-1定义了各诊断服务的格式,以及一些通用 ...
最新文章
- loaction.reload(false)和location.reload(true) js发起请求
- python3 邮件方式发送测试报告
- Excel中插入VBA宏处理
- Node.js构建可扩展的Web应用1
- windows 端微信多开
- MSI/MSI-X Capability结构 （转）
- 二叉树 BinaryTree （先序、中序、后序遍历 节点查找、插入、删除 完整类） Java数据结构与算法
- iOS --- [持续更新中] iOS移动开发中的优质资源
- 程序员找 Bug 福音！微软全新开源查找修复 Bug 工具——Project OneFuzz
- RTP audio video profile
- 赫夫曼树的定义及原理
- vue 不生效 打包 样式_Vue打包部署到Nginx时,css样式不生效的解决方式
- 30岁前，一定要完成哪些人生规划？
- 维吾尔语小程序开发个人中心插件
- photoshop放大缩小有什么快捷键
- 64位计算机装32位系统,32位装64位系统教程
- 什么是“双重支付”，即“双花”
- 删除UltraISO（软碟通）卸载后的遗留文件“isoshl64.dll”
- 什么输入法对计算机英语,电脑怎么把英文输入法设置为默认输入法
- IOS – OpenGL ES 调节图像白平衡/色温 GPUImageWhiteBalanceFilter