案例丨人大金仓完成新疆农村信用社数据仓库国产化
随着国家“新基建”战略的推进,国产软硬件迎来跨越式发展,在金融、政务、电信等核心领域均具备不斐实践。作为我国信息化程度最高的行业之一,金融行业是我国信息化建设的重点领域。近年来,随着全球化逆流加剧,金融行业IT建设国产化进入加速期。
近日,在新疆农村信用社(以下简称“新疆农信”)数据仓库国产化替代项目中,人大金仓顺利完成由IBM Netezza数据库到金仓分布式分析型数据库系统KingbaseAnalyticsDB(以下简称“KADB”)的迁移,迁移后,客户的数据库使用及服务成本节省10倍,数据库加载速度与分析性能显著提升。
01
项目背景
新疆农信ODS业务核心数仓接入其 “核心”、“网银”、“财管”、“银联”、“信贷”、“前置”和农信银等重要业务系统;
每天高密度、结构化数据的批量加载、处理、分析:数仓存储数据量压缩后近20TB,每日运行批量加工过程500+,每日入库量30GB+,全天数据加工处理流程时间<3小时(清洗/装载、汇总、报表);
流水型业务场景:整个过程需要通过集中控制平台以定时任务的形式将每日增量数据导入到数据库中,并通过多层模型清洗转换基础数据,每一层需依赖上层转化好的数据,最终完成所有业务操作后将最终结果上报到总行。
原数据库性能及服务无法满足需求:原有数据库为基于一体机架构体系下的数据分析和数据存储平台。采用Netezza构建ODS,随着数据量的增大,Netezza在性能及各方面表现日趋下降,已不能满足新疆农村信用社使用需求。2019年,IBM停止Netezza的服务支持,新疆农信ODS业务陷入无数据库原厂提供服务保障的困境。
02
客户痛点
安全风险:原数据库IBM Netezza采用的是基于一体机架构体系下的数据分析和数据存储平台,整体从硬件到软件都由IBM提供,对硬件要求非常高,整体架构不适用于目前场景;且系统相对封闭,产品代码层面不可控。
业务运行风险:压缩后约20TB的数据库历史存量,每日30GB+数据增量,导致数据库负载压力巨大,数据库性能提升刻不容缓。
原厂服务保障风险:银行系统对于响应的要求近乎苛刻,需要时刻保证数据库安全稳定运行,数据库厂商最好能够提供7*24小时本地化服务。
03
金仓方案
人大金仓采用分布式可扩展架构对客户原来的一体机架构进行替换,经过KADB国产化替代后,架构如下:
原Netezza数据仓库体系架构如下:
04
金仓价值
开放架构:采用shared-nothing架构的MPP技术路线,金仓分析型数据库系统KingbaseAnalyticsDB产品特性助力,在满足高性能、高扩展性、低成本的基础上,同时满足金融架构的高可用、低风险、强管控要求;
数据库迁移:通过金仓数据库迁移工具,完成600多个控制任务、200多张拉链及增量表、近20TB存量数据的自动化迁移,节省了大量的时间及人力成本。
性能优化提升:通过分布式架构的并行计算能力,将数据分布在所有节点上,减轻了单台服务器的存储压力,通过高度并行的计算框架,加速每个节点的计算效率,完成数据库集群整体性能提升。最优化的I/O处理能力:无共享MPP架构,能够满足所有节点同时进行并行处理,无I/O冲突;
极速数据加载能力,智能加载,无需通过冗余节点,性能极高;
高效数据存储能力:支持主流高效率压缩算法,压缩比可达1:20,协助用户获得最佳存储效率;
大规模并行能力:集群支持将计算任务分发给各个主机并行执行,可最大程度利用集群中的计算资源完成任务;
数据库加载速度与分析性能较Netezza显著提升。
近日,该项目已正式上线且运行稳定,本次项目实现了新疆维吾尔族自治区银行类业务国产化替代由0到1的飞跃,为新疆农村信用社将来全面实现国产化替代注入了一剂强心针,为更多金融信息安全领域企业使用国产数据库奠定了信心!
案例丨人大金仓完成新疆农村信用社数据仓库国产化相关推荐
- 案例丨人大金仓KINGBASE助力国家能源集团186个新能源场站新集控系统上线
近年来,信息技术国产化与开放创新相关课题得到了空前重视,在半导体.操作系统.数据库.通用软件.核心应用等细分领域,中国企业在部分场景中已经具备了与国际品牌同台竞争的能力.本着保障信息安全.降低维保成本 ...
- 数据库周刊59丨GaussDB(for openGauss)开放商用;人大金仓保障冬奥会演练顺利完成;MDL锁导致的MySQL问题分析;PG日志使用手册;达梦表空间查询;数据库笔试题面试题集……
热门资讯 1.openGauss 上线华为云正式商用 - GaussDB(for openGauss) [摘要]近日,GaussDB(for openGauss)已于华为云官网全面开放商用.该产品是华 ...
- 数据库周刊54丨2020 年度报告:PingCAP、腾讯云数据库、人大金仓、GoldenDB ;CPU 100% SQL优化案例;Mysql内存溢出处理;避免删库跑路黑天鹅……
热门资讯 [1.PingCAP 2020 年度报告|相信开放的力量 [摘要]本文为PingCAP 2020年度报告.盘点了PingCAP里程碑大事件:完成D轮2.7亿美元融资,创造全球数据库历史新的里 ...
- 案例 | 标杆引领!人大金仓智绘数字金融
随着中央数字经济政策推进金融业数字化建设,数字金融已初见成效,但尚存在信息安全缺乏保障.转型覆盖不全面等问题. 为实现金融行业全面数字化转型升级,作为数据库领域国家队,人大金仓紧跟国家战略,自主研发的 ...
- jpa 人大金仓数据库方言_生态丨参展CITE2020 人大金仓全栈数据库管理系统强势来袭!...
8月14日-16日,第八届中国电子信息技术博览会(以下简称"CITE")在深圳会展中心举行.作为国产数据库厂商,人大金仓携全栈数据库管理系统亮相,让展会参展者更真切地感受到智能时代 ...
- 纳人才,谋发展 | 人大金仓喜获“最佳雇主校招案例奖”
凤栖良木 才聚金仓 近日,由智联招聘发起的2022中国年度最佳雇主校招案例奖评选大会结果出炉,人大金仓喜获"2022年度最佳雇主校招案例奖",该榜单由高校就业促进委员会102所高校 ...
- 炫“库”行动-人大金仓有奖征文-KingbaseES V8R6 手工创建主备流复制集群案例
[本文正在参与炫"库"行动-人大金仓有奖征文] CSDNhttps://marketing.csdn.net/p/98bd30353e7cb998b6070a89e8b91edb ...
- 数据库sql去重操作 + 人大金仓案例
背景:一般在增量导入数据后,表中会出现冗余的数据,因此对于表的去重操作主要分为两种:去重查询以及删除重复数据 去重查询 distinct 关键字 select distinct <col1, c ...
- 要闻 | 人大金仓重磅亮相2022南京软博会
"软件赋能 数智转型",2022中国(南京)国际软件产品和信息服务交易博览会(下称"南京软博会")于11月23至25日顺利举行.人大金仓重磅亮相本次展会,并受邀 ...
最新文章
- PHP删除数组(array一维)中指定的某个值 (转)
- 239 Sliding Window Maximum 滑动窗口最大值
- 浙大通讯与计算机网络离线作业,浙大2015年 通信与计算机网络离线作业
- 徐工施维英:基于帆软搭建数字化驾驶舱,提高生产效率50%
- asp.net中的报销多级审批工作流 (状态机版本)
- Gym 101915J(并查集)
- Cannot modify header information问题的解决方法【新浪云经常遇到的错误】
- 1008 数组元素循环右移问题(C语言)
- 跨越鸿沟,IIoT 如何更融合与开放?
- DllMain加载其他DLL造成的死锁问题及其解决办法
- 主要知识产权(专利权,著作权,商标权)的申请与保护
- Python基础学习1---函数
- 统计用区划和城乡划分代码,在线爬取代码
- 百分字符知识付费教程
- 随机过程的概念以及统计特性(读书笔记)
- Java——Session使用
- 3dmax如何删除重叠部分
- windows server 2012 DHCP
- 沉船会有什么_泰坦尼克号为何会沉没,百年来又为何一直没有打捞?专家一声叹息...
- 波卡平行链生态一览|Polkadot Decoded 回顾
热门文章
- 什么是java中的栈和堆_java中的堆和栈是什么?堆和栈有什么区别?
- 不可思议有氧机器人_不思议迷宫这七个彩蛋机器人你都有了嘛
- myelicpes2019初次使用设置_PES2019技巧(键盘操作,个人经验)
- C++学习之allocator类
- andoird TV 优化学习笔记
- 盘点国内5款Linux控制面板,你用过哪个呢?
- android手电筒+闪光灯基本源码
- jsfor循环终止_JavaScript跳出循环的三种方法(break, return, continue)
- 线程池原理——生产者/消费者
- Android 创建桌面快捷方式的方法