340页11万字智慧政务大数据资源平台大数据底座数据治理建设方案

目  录

第一章项目概况

1.1 项目名称

1.2 项目单位

1.3 项目建设依据

1.4 项目建设内容和目标

1.4.1 建设内容

1.4.2 建设目标

1.5 项目投资估算及建设周期

1.5.1 项目投资估算

1.5.2 服务周期

第二章现状

2.1 项目单位概况

2.1.1 单位职责、内设及下属机构、人员编制和业务情况

2.1.2 拟建项目与项目单位职责、业务的关系

2.2 信息化现状

2.2.1 本单位或本领域信息化建设的整体框架规划或设想

2.2.2 现有应用系统的情况

2.2.3 拟建项目与已有系统的关系

2.2.4 现有网络、设备以及其它信息资源情况

第三章项目的需求分析

3.1 项目建设的背景

3.2 项目建设的依据

3.2.1 《XX公共数据和一网通办管理办法》（X府令9号）

3.2.2 《XX加快推进数据治理促进公共数据应用实施方案》（X委办8号）

3.2.3 《XX公共数据质量管理暂行办法（征求意见稿）》（X数函〔2019〕14号）

3.2.4 《2020年XX深化“一网通办”改革工作要点》 (X委办〔2020〕12号)

3.2.5 《关于加强数据治理促进城市运行“一网统管”的指导意见》（X委办〔2020〕24号）

3.3 项目建设的必要性

3.3.1 业务现状、存在的具体问题和业务目标

3.3.2 业务对信息系统的具体需求

3.3.3 成果应用效果、推广设想、可持续发展情况

3.4 用户和业务流程分析

3.4.1 用户分析

3.4.2 现有业务流程

3.5 平台性能需求分析

3.5.1 平台存储能力要求

3.5.2 平台数据计算/并发能力要求

3.5.3 平台门户使用要求

3.6 业务量需求分析

3.6.1 业务量分析

3.6.2 数据存储量分析

3.6.3 数据存储部署资源分析

3.7 硬件设备需求分析

3.8 功能需求分析

3.8.1 大数据底座

3.8.2 数据采集子系统

3.8.3 数据治理子系统

3.8.4 数据资源中心

3.8.5 数据共享子系统

3.8.6 门户子系统

3.8.7 统一运维子系统

3.8.8 数据安全管理子系统

3.9 数据分析

3.9.1 数据流程和属性分析

3.9.2 数据量分析

3.9.3 信创适配分析

3.10 满足应用的需要

第四章项目建设方案

4.1 建设目标

4.2 总体架构

4.2.1 总架构图

4.2.2 平台架构关系

4.3 建设内容

4.3.1 大数据底座

4.3.2 数据采集子系统

4.3.3 数据治理子系统

4.3.4 数据资源中心

4.3.5 数据共享子系统

4.3.6 门户子系统

4.3.7 统一运维子系统

4.3.8 数据安全管理子系统

4.4 应用系统

4.4.1 大数据底座

4.4.2 数据采集子系统

4.4.3 数据治理子系统

4.4.4 数据共享子系统

4.4.5 门户子系统

4.4.6 统一运维子系统

4.4.7 数据安全管理子系统

4.5 资源中心建设

4.5.1 中心总体定位设计

4.5.2 XX市级数据湖

4.5.3 杨浦基础库

4.5.4 杨浦主题库

4.5.5 杨浦专题库

4.6 配套实施工作（三清单一目录）

4.6.1 概述

4.6.2 工作范围

4.6.3 梳理思路

4.6.4 梳理工作开展

4.6.5 梳理工作要求

4.7 网络系统

4.8 服务器和存储系统

4.9 系统软件

4.10 信息安全保障方案

4.10.1 安全体系总体设计

4.10.2 各层级的安全策略设计

4.10.3 安全管理要求

4.10.4 应急保障预案

4.11 数据管理方案

4.11.1 数据来源

4.11.2 数据更新机制

第五章项目实施进度和组织安排

5.1 项目建设周期

5.2 实施进度计划

5.3 责任人和组织保障

5.3.1 项目领导机构

5.3.2 项目实施机构

大数据资源平台基于基础设施（网络&技术&存储）、技术标准体系规范及信息安全保障体系建设数据支撑底座、数据交换、数据资源中心（基础及融合数据库）、数据整理治理、数据服务、数据分析、数据共享应用及数据资源门户模块，并实现与XX大数据资源平台的共享与交换。

一.1.1 总架构图

本次项目建设的总体架构如下图：

功能框架图：

整体格局：

一.1.2 平台架构关系

一.1 建设内容

结合区级数据平台的建设方向，从聚、管、通、用的业务维度考虑平台的建设功能，将包括数据采集、数据治理、数据共享方面的建设功能，具体功能方面需求描述如下： 

一.1.1 大数据底座

建设统一的大数据底座基础平台，包含大数据存储、计算、分析、处理、管控、运维等能力。

建设统一多租户模型，实现大数据域组件的管控，实现组件资源的运营分析支撑，精细掌握租户分配状态，资源利用情况；建立租户运营流程，实现租户及资源分配的统一管理，租户管理能力标准化。支持租户管理，实现组件资源的分配及实例创建，并支持组件的细粒度授权。

Ø 建设统一多租户模型，贯通Hadoop、Kubernetes、数据中台，打造集合平台、应用及运营的全场景化能力体系

Ø 建设资源服务目录，实现Hadoop组件HDFS、Hive、HBase、Yarn及Kafka的接入。

Ø 实现租户资源管理及实例创建功能，实现区大数据中心、区委办的资源分配的统一管理，提供资源监控能力，租户管理能力标准化

Ø 实现细粒度权限管理，组件的细粒度授权功能，支持组件的精细化管理，提升组件的安全管理能力，并支持数据及资源的开放能力；

Ø 支撑平台运营管理，实现线上的租户管理、租户分析，用量提醒，支持平台运营管理。

一.1.2 数据采集子系统

数据采集需要实现对全区各委办单位的数据采集功能，包括离线采集、准实时采集和实时采集的采集方式，根据各委办局业务数据的情况进行采集技术的实现。

Ø 数据采集：政府数据来源多样，包含视频类数据、物联感知类数据以及传统的政务公共数据，各数据来源的数据格式也不一致，在收集的过程中需对数据进行规范化处理，以便于管理使用。

Ø 大数据存储：实现现有应用的大量结构化数据、半结构化数据，以及将全市统一规划的大量图片、视频资料等非结构化数据的存储需求，要求大数据基础平台采用分布式文件系统实现对汇聚的多类型海量数据的存储。

Ø 大数据分析计算：数据分析的处理速度、准确度对实际应用的及时性、高效性都有至关重要的影响。大数据平台提供分布式计算、流式计算、内存计算多种数据计算引擎，能够针对不同的场景采用不同的计算模型，对数据进行大规模批量处理或者实时处理，大大提升政府部门的决策效率能力。

Ø 分布式资源管理和调度：Hadoop 2.0中的资源管理系统，它是一个通用的资源模块，可以为各类应用程序进行资源管理和调度。

Ø 大数据集群运维管理：作为运维系统，为数据基础支撑子平台提供高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装/升级/补丁、配置管理、监控管理、告警管理、用户管理、租户管理等。

文章引用的资料均通过互联网等公开渠道合法获取，仅作为行业交流和学习使用，并无任何商业目的。其版权归原资料作者或出版社所有，本文作者不对所涉及的版权问题承担任何法律责任。若版权方、出版社认为本文章侵权，请立即通知作者删除。