背景定位目标

1.建设背景

中国“城镇化”的背景下，为了积极响应政府提出的城市化发展策略，把“智慧城市”作为业务发展重点，确立了“共建汇聚共享”为发展模式的智慧城市发展战略。

“智慧城市”确定了依托云计算、物联网、移动互联网等核心技术，结合基础通信优势资源，打造全国统一的智慧城市云承载平台，使智慧城市成为企业新的业务增长点。

“智慧城市”云平台建设和运营是一个庞大的系统化工程。为有效保障智慧城市云平台运营健康、高效、可持续化发展，需要以数据处理及分析应用为抓手，构建独立、高效、面向智慧城市云平台的业务运营、平台运维、租户运营的数据分析服务平台。

2.系统定位

根据智慧城市应用“以城市为中心”的业务特性，企业智慧城市云平台采用一级架构，包括管理平台和资源池两大部分。数据服务分析平台为智慧城市云平台的一部分。

3.云平台功能架构中的定位

4.与周边子系统关系

数据服务分析平台主要从云管理平台中的业务平台、运维平台采集数据。

租户的结构化/非结构化数据也是数据服务分析平台采集的一部分。

5.建设目标

本项目主要建设数据分析服务平台，通过有效收集、整合智慧城市云平台以及周边关联系统中的各类数据，以业务运营和平台运维分析管理需求为导向进行数据加工处理，建立包括业务运营、云平台运维监控等应用，并能方便快捷向平台运维人员、业务运营人员及租户提供所需的数据分析能力、数据计算服务能力、数据自助服务能力，为智慧城市云平台业务运营和平台运维保障提供有效信息支撑。

总体建设方案

1.总体框架

数据分析服务平台主要包括“数据整合层、数据应用层、统一门户层、数据管控层”四个主要部分。

1.1 数据整合层

● 数据体系架构

多层次多粒度数据体系架构：数据架构是基于“智慧城市云平台”的管理数据和租户数据的进行规划，本次项包括STG、DWD、DWA、DM四层以及私有数据层次，不同层次实现数据粒度由细到粗的数据整合。

● 数据架构说明

数据架构描述主要针对不同的数据层次描述层次的定位和作用、模型设计、数据粒度、存储周期。

● 模型设计六大原则

● 数据获取层STG

STG层

STG是数据整合层的一个组成部分，主要是作为数据仓库数据处理的过渡，以降低直接进行数据处理的复杂度。是一个面向数据主题的、集成的、可变的、当前的细节数据集合层。

STG层是临时细节数据层，是对生产业务系统数据进行沉淀，因此本层的数据模型原则上延用生产模型，包括主题域和子域划分方式。

STG数据整合层是的数据来源主要包括“平台管理数据”和“租户私有数据”两部分。平台管理数据，指来自于云管理平台的内部数据。租户私有数据，指来自租户自己部署应用的数据。

接口说明-云管理平台对外接口

● 明细数据层(DWD)

DWD是数据仓库的细节数据层，为企业各种分析类应用提供细节性数据支持，是数据仓库的核心，同时为未来需求的扩展提供历史数据支持。

DWD层的模型设计，需要围绕企业核心业务过程展开，关注业务过程中的核心业务事件和业务实体，遵从生产系统域的划分。

● 衍生汇总数据层(DWA)

1.2 数据应用层

● 三类应用/两个转变

数据应用包括“数据运营分析应用、数据计算服务应用、数据自助服务应用”三类。数据应用以业务分析为基础、以计算服务为依托，面向不同角色提供工具化、产品化的自助服务应用，实现数据应用方式从传统应用向个性化应用转变，实现数据应用层次从可视化与监控向交互沟通方向转变。

● 数据运营分析应用

“数据运营分析应用”主要包括“业务运营分析、平台运维分析、租户业务分析”三个部分，属于传统化、可视化应用。

业务运营分析，是以租户、产品业务核心对象为中心，围绕业务核心对象关键KPI进行监控，业务核心对象实体属性进行深入洞察分析。

平台运维分析，是以资源为核心，围绕资源的使用、性能等进行分析。

租户运营分析，是以单一租户为核心，提供单一的租户视图。

● 数据计算服务

定义

基于Hadoop的分布式计算能力封装（Hadoop based distributed computing power package），以下简称：HDCPP。

HDCPP定义：为租户提供Hadoop分布式计算能力服务，租户能够在虚拟的Hadoop集群之上分析和处理海量的非结构化数据。HDCPP是对Hadoop能力的增强，与Hadoop集群服务、存储服务、监控服务进行无缝集成或连接。它也能与Hadoop架构之上的应用（Hive/Hbase/Pig等）进行无缝集成。

框架图

数据计算服务是在hadoop之上，提供“查询、计算、存储”三种引擎，提供基于服务生命周期的“数据计算服务”管理。

查询引擎

查询引擎是HDCPP服务的实现，通过脚本，SQL，界面元素向外提供服务。

查询引擎包含SQL解析、过程语言和元数据。

计算引擎

计算引擎是HDCPP服务的能力，在Hadoop架构基础上对计算能力封装，机制调整，优化。

计算引擎包含计算均衡、多任务调度和MR计算。

存储引擎

存储引擎是HDCPP服务的基础，规定了文件的存储方式，文件格式，存储结构，应用规范。

存储引擎包含块索引、列存储和结构化存储。

基于生命周期数据计算服务

服务申请-服务创建-服务配置-数据准备-服务运行-服务退出

数据自助服务

数据自助服务是在元数据基础之上，通过元数据屏蔽掉异构数据库差异，并提供统一的数据服务接口。自助数据服务的功能，包括元数据配置/服务/权限管理和即席查询两个部分。

1.3 数据门户

实现根据多级管理主体和用户角色，提供个性化的页面布局和个性化功能界面，统一接入、集中展现，提升用户感知。

统一应用功能发布、集中的功能和数据授权，实现门户层面的安全管理。

1.4 数据管控

1.4.1 总体说明

数据管控对元数据管理、数据质量、数据标准、数据安全、生命周期、数据加载、数据流程进行了有机结合，形成一套完整的企业级数据体系规范、运作流程及规章制度。

数据管控包含三大方面：ETL调度、数据治理、元数据管理。

1.4.2 元数据管理

元数据是数据质量、流程监控的基础，期承载了项目内的所有静态内容展现，及动态变更提醒。

实体扫描：通过扫描数据库，实现实体展现及变更通知，为自助分析服务提供元素支持

血缘关系：支撑各层实体的来龙去脉关系展现；通过既定规范，形成期血缘关系，满足管理人员、租户、维护人员对数据加载现状的了解，及变更评估；

数据权限：统一管控数据权限。

API接口： 通过Web service方式向外界系统提供能够使用Web进行调用的API

1.4.3 数据治理管理

5W-1H-1R:WHAT,WHO,WHERE,

WHY,WHEN; HOW; REPORT

锁定管控内容：数据源、应用模块，各个监控环节，问题处理流程

责任矩阵：采集流程、稽核流程、加工流程、发布流程、问题处理流程矩阵负责人

设定监控点，异常告警快速定位：数据采集、加工、稽核、发布流程监控点，针对稽核设定阀值，异常情况定位

分析异常原因：对各层级流程出现的异常点进行日志记录与原因分析

问题告警定时提醒：记录异常警告时间,对负责人进行定时提醒

异常问题解决方案：对不同的问题形成处理方案

形成分析报告：因产生的问题进行原因总结,形成分析报告,为知识库提供参考

1.4.4 ETL调度管理

ETL是数据的动能它让数据流动起来，包括数据源采集、数据稽核、数据加工流程实现一体化监控。

各环节出现的问题，系统可自动触发告警，通知管理员及时处理跟踪异常问题。

数据加工机制为问题分层管理，各层问题在数据系统内部存在多次反复流转，确保数据结果正确。

2.总体实施计划

3.项目实施管理

3.1 项目管理

建立专业化分工的管理团队，洞察云管理平台发展方向，配合租户业务分析需求，逐步完善系统建设目标，落实项目管理责任。

3.2 项目实施团队

智慧城市大数据分析系统解决方案相关推荐

161页6万字智慧房地产大数据分析系统平台整体解决方案
1.1. 智慧房地产大数据分析系统平台产品理念智慧房地产大数据分析系统平台的产品"集成管理.随需应变"的产品理理念. 集成管理:通过对人员.信息.流程三大集成的系统,实现了集团内 ...
高校招生迎新大数据分析系统解决方案(ppt)
作者:王士强选编:悟道方案网 https://www.518doc.com/p-5465.html 招生迎新大数据分析系统实时展示各学院.各专业新生的报到情况,实时监控学生缴费.宿舍分配的办理状态与 ...
112页智慧城市大数据综合解决方案（ppt可编辑）
本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除项目必要性分析完善信息基础设施布局规划,满足区域信息化的发展要求信息化已成为提升城市管理.促进经济发展.改善民生的重要手段合理高效 ...
智慧平安社区系统开发解决方案，智慧小区大数据分析平台建设
智慧平安社区系统开发解决方案,智慧小区大数据分析平台建设智慧平安社区系统开发解决方案实现了对小区"人.地.车.物.事"的动态掌控,提升了社区的安全性,方便居民出行,为有特殊需要的 ...
智慧城市大数据平台信息化建设及行业智慧应用综合解决方案
[版权声明]本资料来源网络,知识分享,仅供个人学习,请勿商用. [侵删致歉]如有侵权请联系小编,将在收到信息后第一时间删除! 完整资料领取见文末,部分资料内容: 智慧城市核心技术 2.1.1 物联网 ...
【案例介绍】天津市河西区政府智慧城市大屏可视化决策系统
01项目背景新型智慧城市建设作为我国数字经济发展的新引擎,备受国家各部门高度重视.在<决胜全面建成小康社会夺取新时代中国特色社会主义伟大胜利>的十九大报告中,指出新型智慧城市建设为社会信 ...
智慧城市数字孪生系统深度融合大数据、云计算等技术应用
智慧城市数字孪生系统深度融合大数据.云计算等技术应用,将信息.技术.设备与管理需求充分结合,覆盖城市全景可视化.城市规划监测.交通运行监测等多个业务领域,对各业务应用实现智能感知,有利于提升跨部门决策 ...
重点人员动态管控系统开发，智慧公安大数据分析平台建设
重点人员动态管控系统开发,智慧公安大数据分析平台建设重点人员动态管控系统以公安七类人员为基础,以智能预警.组合战法.精确管控为目的,综合利用各类数据资源,进行大数据深层挖掘和智能研判,实现对重点人员 ...
智慧城市指挥调度系统软件解决方案
智慧城市指挥调度系统软件解决方案智慧城市一站式指挥调度中心利用信息整合技术,推动资源互联互通,实行部门集中办公,消除信息孤岛,实现资源共享,节约建设投资,是政府实施统一宣传.统一服务.创新服务,进行 ...
智慧城市规划大数据系统软件解决方案
智慧城市规划大数据系统软件解决方案智慧城市数据融合可视化系统的设计实施经验进行总结,在设计理念.设计方法.技术实现.常见问题等方面,对设计实施经验进行总结,以方便读者更好的了解可视化系统的设计实现. ...

智慧城市大数据分析系统解决方案

背景定位目标

总体建设方案

智慧城市大数据分析系统解决方案相关推荐

最新文章

热门文章