【大数据架构】浅谈数据中台
数据中台背景
大环境背景
近几年较火的数字化转型，很多企业也从信息化到数字化。
信息化时代：是信息化为物理世界活动服务的；更多的是为物理世界活动提升效率。例如我们现在很多系统其实也是信息化，例如OA系统、政府线上办理平台、医疗平台等等。
数字化时代：物理世界的物在为数字世界服务，同时数字实际也在服务物理世界，形成闭环。例如我们获取了业务数据进行分析后，智能推荐又服务于物理世界，形成闭环。
数字化是信息化的升级版，在为物理世界赋能的同时，自己能通过物理世界产生的数据，经过处理后，产生新的价值。这个过程是物理世界为数字实际赋能；之后产生新的价值后又赋能给物理世界，不断循环，形成一个闭环。他的高级感更多的是能通过这种形式创造新的价值，产生新的业务等等。能让原来没什么价值的数据产生更大的价值。
数字化转型带来的技术与业务深度融合，可能会诞生新的商业模式和业务架构体系。
那么在这个大环境下核心就是数据，如何对数据进行管理以及利用，最终发挥其价值。是每个企业在数字化转型中必须会面对的一个问题。当前企业在转型过程中又会遇到什么痛点呢？从痛点就能衍生出为什么企业要进行数据中台的搭建，为什么要做数据管理
数据中台背景
1.互联网企业面临则数据孤岛的问题，导致其数据价值没有真正的被挖掘出来。
2.企业内部业务间数据不互通，导致很多数据拿不到，重复开发等问题。
3.互联网企业越来越看重增效降本，提升效率，降低成本；越来越多的企业开始走精细化运营的道路。
4.互联网行业各个能做的点都已经形成了红海，企业寻求突破想孵化出一个新的商业模式和业务架构（探索新模式）
（说白了就是，企业现在有很多数据，那么如何让这些数据用起来，体现他们的价值，来为业务赋能呢？这个时候就要搭建数据中台）
数据中台的定义
数据中台是将企业数据资源转化为数据资产，再利用数据资产为业务创造价值，最终实现数据资产价值变现的解决方案或者说是一种机制。
数据中台不是技术也不是产品，而是一套“可持续让数据用起来”的机制。他依赖于企业现有的业务模式和组织架构，通过数据中台的机制，去对企业进行改变，会改变企业的业务模式和组织架构。
数据中台的价值：打破数据孤岛，将无用的数据，转化为数据资产，助力业务创新创造价值，为企业提供降本增效，精细化运营的能力。
数据中台建设要点
数据中台建设痛点：
1.数据口径不一致，不同指标可能不同业务对其的定义不一，导致口径不一，难以管理。
2,.数据质量可靠性差，数据链路不透明，不知道该数据的质量靠不靠谱，当前很多数据链路有问题不规范，也会导致数据治理可靠性有问题。
3.数据接入成本高，使用门槛高，大数据开发操作门槛高。学习成本、使用成本都高。
4.资源消耗浪费严重，在大数据开发过程中，可能由于选用的组件，并不是最适合的，导致资源浪费
5.数据资产管理混乱，各个业务各自做各自的大数据开发，导致数据资产没有统一管理，导致管理混乱
6.数据业务打通难，上面说到企业发展的趋势是场景融合，那么如何打通2个业务间的数据是一个很大的课题
中台又要如何解决这些问题？
1.打造一站式数据开发平台，降低数据接入门槛和成本
2.建立统一的元数据管理中心，通过对元数据进行管理，了解全链路的处理过程，对数据资产进行管理
3.提供数据服务的能力，降低业务使用门槛，数据开发的事情交给专业人员，业务方只需要使用封装后的接口即可
4.建立覆盖全生命周期的数据治理体系，对数据资产进行管理，进行数据标准化建设；保证数据的稳定性和准确性，提升资源利用率
5.制定数据生产、采集标准；从源头规范数据格式，有利于后续管理
6.搭建数据湖、数仓、周边体系，拓展数据中台能力
7.推动从平台化变成自动化的演进
数据中台架构
大数据产品架构
简单介绍下分为几个模块
1.数据开发运维：是大数据处理的技术底座，分为数据集成、数据存储、数据计算、任务调度、运维模块。对应数据的采集-开发-存储-维护。该模块偏技术，底层一般都是引用开源组件进行支持，包括我们熟悉的hadoop组件，hive、hbase、hdfs、kafka、pulsar、flink、spark、clickhouse、presto、iceberg、hudi等等。
2.数据管理：主要是对数据进行治理，包括数据标准、数据模型、数据质量、数据资产管理、数据安全、元数据管理、数据成本治理、数据血缘等。在该模块将数据进行梳理，形成分类清晰，可管理，可理解的数据资产。方便后续应用
3.统一数据服务：指的是对外提供服务，包括数据共享、数据服务、OLAP即系分析。对外提供数据的支持。
4.数据应用：基于数据中台，对外封装成各自类型的应用去服务于业务，包括用户画像、DMP、BI、标签系统、埋点系统、UBS、指标系统、机器学习。
*以上是自己在平时学习和工作中实践时的总结，有的内容是从其他文章汇总转摘过来的，若侵权了，麻烦联系下我，我进行修改~
【大数据架构】浅谈数据中台相关推荐
- 深度|从数据仓库到数据湖——浅谈数据架构演进
转载自https://mp.weixin.qq.com/s/321mkZsuxqXOme5hw_83mQ 网管产品需要从数据仓库的角度来看,才能获得完整的视图.数据集成真正从大数据的角度来看,才能明白 ...
- 数据治理--浅谈数据质量管理【从方法论、质量标准、手段、流程分析】
在谈到数据质量时,数据质量问题可能千变万化,如数据不符合标准规范.数据相互矛盾.字段的取值类型不符合期望(如商品的价格期望是float类型,但却是string类型)等 如何针对数据质量进行管理,在提升 ...
- 怎么向easyui grid里面插入空数据_浅谈数据结算（三）
1. 第二章:栈和队列 通过下面的思维导图来依次分享「栈和队列」里面重要知识点. 2. 第一节:栈 1. 栈的定义: 栈(stack):只允许在一端进行插入或删除操作的线性表. 栈顶(Top):线性表 ...
- 浅谈数据湖的探究与调研！
注: 对于数据湖博主也是近期开始研究探索的,下面给大家简单的聊一聊数据湖. 浅谈数据湖的探究与调研! 1.什么是数据湖(Data lake)? 数据湖是目前比较热的一个概念,许多的企业都在构建或者计划 ...
- HIVE 数据倾斜浅谈
HIVE 数据倾斜浅谈 一.数据倾斜现象 map100%,reduce一直卡在一个值,如99%. 二.数据倾斜的原因 数据按key的hash值分配到reduce中,如果有的key值比较集中,就 ...
- 浅谈数据治理（什么是数据治理）
浅谈数据治理 数据治理是一个对企业数字化转型至关重要的一个环节,关乎着企业核心数据是否能被规范化管理.数据的价值是否能被充分发挥等等.说白了能给企业实现降本增效.业务精细化运营.重要决策制定.产品优化 ...
- 让数据站住脚-浅谈用户研究中的信度与效度
让数据站住脚-浅谈用户研究中的信度与效度 在用户研究工作中,如何让自己的数据和结论更有说服力,是很重要的问题.最近将自己积累的用研信度和效度的笔记整理一下,罗列在文中,希望对大家有所帮助. 一.调查的 ...
- 数据埋点|从隐私保护浅谈数据生命周期，初识数据埋点
点击上方 蓝字 关注我们 你是否和我有同样的感觉,不知道从什么时候开始我们的隐私已经彻彻底底地暴露,在互联网场景下我们就是在裸奔.列举几个情景,你应该也会感同身受. 想必在某宝上搜索过自己心仪的商品后 ...
- 【竞赛相关】南大化院博士刘子腾：跨专业如何做数据竞赛浅谈
作者:刘子腾,南京大学化学化工学院博士研究生 跨专业如何做数据竞赛浅谈 自我介绍 刘子腾,南京大学化学化工学院理论与计算化学研究所(ITCC)博士研究生,导师是马晶教授,主要研究方向是材料的多尺度模拟 ...
- 大型项目前端架构浅谈（8000字原创首发）
大型项目前端架构浅谈 目录: 1.综合 1.1.使用场景 1.2.核心思想 1.3.切入角度 1.4.其他 2.基础层设计 2.1.自建Gitlab 2.2.版本管理 2.3.自动编译发布Jenkin ...
最新文章
- PHP原生处理select结果集的函数介绍
- Trie树统计单词前缀
- python绘制饼图的列表有none_python 有没有库或者函数，类似R的corrplot，画相关系数图的时候，每个方框里面为饼图？...
- hapi mysql项目实战路由初始化_用hapi.js mysql和nuxt.js(vue ssr)开发仿简书的博客项目...
- Unity Editor开发
- 单循环链表（C语言实现）
- CRM Fiori：Complex note optimization design
- 个人博客系统的设计与实现_一款小而美的博客系统，专为程序员设计
- hibernate正向生成数据库表以及配置——hibernate.cfg.xml
- arr数组怎么取值_记一次思否问答的问题思考：Vue为什么不能检测数组变动
- Exchange 2013 、Lync 2013、SharePoint 2013 三
- lua按钮unity_在Unity中使用Lua脚本
- 面试题：Java对象不再使用时，为什么要赋值为null？
- 【Maven由浅入深】1.maven初体验
- codebook实现源码
- 去掉word中页眉上方的一条线
- 接口测试项目（非常值得练手）
- 初创网络游戏公司运维遇到问题
- 半次元cos图片爬虫
- DPark安装及相关资料整理