第一章 集团企业大数据治理阶段目标

通过数据平台和BI应用建设,集团企业大数据将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为集团企业各层次用户提供统一的决策分析支持,提升数据共享与流转能力。

一.1、 数据平台逻辑架构

一.2、 数据平台部署架构

一.1、 建设目标

以大数据项目建设作为契机,凝聚集团优势力量,全面梳理数据资源,完善数据体系架构,自主掌握大数据关键技术,加速大数据资源的开发利用,将数据决策化贯穿到经营管理全流程,建设集团企业,提升核心竞争力。

一.1.1、 建设大数据基础设施,完善全行数据体系架构

构建大数据平台,实现更广泛的半结构化、非结构化数据集中采集、存储、加工、分析和应用,极大地丰富集团的信息资源,同现有的企业级数据仓库和历史数据存储系统一起,形成基础数据体系,提供支撑经营管理的各类数据应用。

一.2.1、 开发大数据资源,支撑全行经营管理创新

建设离线数据分析、实时数据/流数据分析集群和各类数据分析集市,提供高性能可扩展的分布式计算引擎,通过数据挖掘、计量分析和机器学习等手段,对丰富的大数据资源进行开发使用,并将数据决策化过程结合到风控、营销、营运等经营管理活动。

一.2.2、 培养大数据人才队伍,建立大数据分析能力

结合大数据项目的落地实施,建立起一支大数据技术和分析人员队伍,具备自主运营和开发大数据的能力,以更好推动业务创新,提升集团核心竞争力。

一.3、 数据治理目标

一.3.1、 发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统

Ø 对源系统进行数据质量检核,发现数据质量问题并统计影响到的报表

Ø 对数据质量问题进行归类总结,分析成因和改进建议

Ø 建设数据质量检核系统

一.3.2、 分析、梳理业务系统,推动数据标准的建立,统一全行口径

Ø 建立基础标准和指标标准框架

Ø 确定标准化范围,对重要属性进行标准化

一.3.3、 建立数据仓库模型框架,优化集团数据架构,建设稳定、可扩展的数据仓库

Ø 引进业内具有先进水平的金融数据模型,进行客户化改造后,建成符合某行特点的数据仓库模型框架

Ø 覆盖某行主要业务系统数据,以便快速高效的为应用系统提供数据

Ø 存储历史数据,解决新报表上线才有数的问题。

Ø 汇总层建设(共性加工)

一.4、 目标建设方法

一.4.1、 建设内容

分析源系统表数据,从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校验,发现并记录数据质量问题,生成数据质量问题报告。

建设数据质量检核系统,对源系统基础业务数据的进行全面的数据质量检查,并实现重要业务数据质量的周期性动态检查,对发现的数据质量问题生成数据质量报告,反馈给业务部门。

一.1、 集团企业大数据平台应用架构

一.2、 集团企业大数据平台架构

一.3、 集团企业大数据支撑平台

一.3.1、 大数据虚拟化平台

大数据虚拟化平台采用虚拟化技术,以充分利用计算、存储、网络等资源,同时采用数据备份方案以增加可靠性。可以实现:

1.效率大幅度提高

由于将资源池化管理和使用,资源得到充分利用。采用分权分域运维的方式,运维更加有效。

2.更低能耗

更加节能,基础设施与IT设备联动节能、负荷均衡。

3.优化业务

新业务上线周期大幅度缩短。可以为各单位提供更多业务:IAAS、PAAS、SAAS,等等。

4.提高效益

在区级单位建立虚拟化平台,其他各单位不需要建立维护自己的基础设施,利用区大数据虚拟化平台运行各自应用。投资收益率,大幅提升,TCO大幅度降低。

一.3.1.1、 设计原则

1.统一的虚拟化平台

采用虚拟化管理软件,将计算资源划分为多个虚拟机资源,为用户提供高性能、可运营、可管理的虚拟机。支持虚拟机资源按需分配。支持多操作系统。保证资源合理分配,隔离用户间影响。本项目中,为新开发业务系统、迁移业务系统、数据交换与共享前置机分配虚拟机。

2.统一的资源管理

统一资源池,屏蔽不同硬件差异,资源的更换升级对用户零感知。统一管理平台,支持业界主流的操作系统,兼容现有计算及存储资源。设备自动发现,资源快速发放,缩短业务上线时间。

3.支持多种硬件设备

支持多种服务器和兼容多种存储设备,可供用户灵活选择。

4.自动化调度

支持自定义的资源管理策略、故障判断标准及恢复策略。通过资源调度、热管理、能耗管理等一体化拉通,降低维护成本。自动检测服务器或业务的负载情况,对资源进行智能调度,均衡各服务器及业务系统负载,保证系统良好的用户体验和业务系统的最佳响应。

5.完善的权限管理

根据不同的角色、权限等,提供完善的权限管理功能,授权用户对系统内容的资源进行管理。

6.应用智能管理

支持服务目录,应用快速部署。灵活的模板机制,支持用户自定义模板。

7.精细化计费

针对不同的业务类型,进行精确计费。按IT资源(CPU、内存、存储)用量计费。按时计费。

8.丰富的运维管理,实现业务的可控、可管,使整个系统有效运营。

支持快速故障定位,系统通过获取异常日志和程序堆栈等方法,缩短问题定位时间,快速解决异常问题。系统通过自动化的健康状态检查,及时发现故障并预警,确保虚拟机可运营管理。支持全Web化的界面,通过Web浏览器对所有硬件资源、虚拟资源、用户业务发放等进行监控管理。

9.安全

采用多种安全措施和策略,并遵从信息安全法律法规,对用户接入、管理维护、数据、网络、虚拟化等提供端到端的业务保护。

一.3.1.2、 虚拟化平台设计

图5.22虚拟化平台架构

如图所示为虚拟化平台的架构,主要包括五个部分:硬件基础设施、虚拟化存储、虚拟化计算、平台管理、数据存储系统五个部分。

集团企业大数据治理解决方案word相关推荐

  1. 分享一份企业大数据治理的有效解决方案

    分享一份企业大数据治理的有效解决方案 未来,随着应用领域的拓展.技术的提升.数据共享开放机制的完善,以及产业生态的成熟,具有更大潜在价值的预测性和指导性应用将是发展的重点. 下面是小编从网上整理的一个 ...

  2. 典型工业企业大数据平台解决方案(含数据治理)

    一.总体思路 当前,工业企业产生的数据日与俱增,如何利用大数据为企业产生驱动力.竞争力成为工业企业面临的重要问题.工业企业大数据平台建设的总体思路是将现有PLC.MES.ERP.CRM.SRM.SCM ...

  3. 66页3万字医疗行业大数据治理解决方案

    [版权声明]本资料来源网络,知识分享,仅供个人学习,请勿商用. [侵删致歉]如有侵权请联系小编,将在收到信息后第一时间删除! 完整资料领取见文末,部分资料内容: 目  录 1. 1.医疗行业大数据管理 ...

  4. 园区大数据治理解决方案(附PPT下载)

    资料下载:转发朋友圈截图回复666下载,回复"资料下载"下载所有资料 资料下载:转发朋友圈截图回复666下载,回复"资料下载"下载所有资料 推荐阅读: 世界的真 ...

  5. 大数据治理解决方案PPT

    推荐阅读: 世界的真实格局分析,地球人类社会底层运行原理企业IT技术架构规划方案论数字化转型--转什么,如何转?企业10大管理流程图,数字化转型从业者必备![中台实践]华为大数据中台架构分享.pdf华 ...

  6. 企业大数据平台解决方案

    近日,数智机器人科技发布了"数智大数据管理平台",融合了大数据.云计算.人工智能等先进技术,帮助企业实现数据快速接入,连接人员.业务.设备等,提供数据融合.数据分析.数据挖掘.数据 ...

  7. 阿里研究院:数据治理解决方案,附7篇数据治理完整版PDF下载

    企业离不开数据治理,帆软君为大家整理了7篇有关数据治理的资料供大家学习 本文涉及的完整资料PDF已帮你备好,可移步文末获取 1.数据大治理.PDF下载 作者:毕马威中国.阿里研究院 企业端数据治理整体 ...

  8. 数字化转型中的大数据治理架构

    一.数字化时代大数据向服务化发展 数字化时代,我们的数据来源比以前更广了.第一,之前传统企业政府的IT系统主要是面向内部使用,产生了一些信息,现在已经面向外部使用了:第二,更多行为信息.社交信息都会变 ...

  9. 10万字智慧政务大数据治理平台解决方案(word)

    本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除. 1 项目整体建设规划方案 按照<省人民政府关于推进数字政府建设的指导意见>(鄂政发(2019) 4号)的规则要求,结合XX ...

最新文章

  1. 关于mtl_transactions_interface表序列
  2. 看懂这十步,8岁的小朋友都能理解深度学习
  3. linux 跟踪内存,用strace跟踪malloc内存分配
  4. 服务器使用nginx做代理,通过HttpServletRequest获取请求用户真实IP地址
  5. 17. Magento 重写控制器
  6. 华为数通HCNA学习资料
  7. 加载项目的时候提示:需要缺少的web组件才能进行加载
  8. 地图学(何宗宜版)知识点整理
  9. javaw和java,java,javaw和javaws之间有什么区别?
  10. 计算机公式除,Excel公式除法怎么用?教你四种使用方法
  11. 华为云计算中心 全国部署节点总结
  12. AutoCAD Civil 3D-路线-断链的处理
  13. 生成树协议(RTP、RSTP、MSTP)
  14. 无法定位软件包/有几个软件包无法下载-问题解决
  15. ContOs的网络配置
  16. 劳动保障职业学院计算机专业,北京劳动保障职业学院2020录取分数线(附2017-2020年分数线)...
  17. 用纯css实现一个图片拼接九宫格
  18. BCIduino转载|3D打印机使用的日常问题汇总
  19. 【ArcGIS Pro二次开发】(6):工程(Project)的基本操作
  20. 半导体技术科普:解读第三代半导体及宽禁带半导体

热门文章

  1. oracle的acdri,ORA-01654: 索引 GDYLSY.PK_ACD1 无法通过 1024 (在表空间 GDYLSY_DATA 中) 扩展...
  2. OpenCV人脸识别(1)原理介绍
  3. 华为手机的备忘录提醒怎么改铃声设置
  4. 618百余品牌销售过亿,天猫品牌数字化创新体系再升级
  5. 铁板鱿鱼的做法 铁板鱿鱼怎么做好吃
  6. Redis:Redis配置文件相关配置、Redis的持久化
  7. notepad linux,适用于Linux的11种最佳Notepad ++替代品
  8. 计算机excel函数教程,excel函数,教您excel中mode函数的使用方法
  9. activitythread.java_ActivityThread
  10. Stream操作流 练习