全闪SDS之数据库加速解决方案

方案背景

背景概述

随着互联网和电子商务的迅猛发展，传统的大型结构化数据库系统在企业应用中承载着越来越多的应用，重载情况越来越突出，担当着企业业务和信息系统核心的重任。

但是，本来是为了传统业务的开展而设计出来的数据库系统，已经越来越多的受到超大规模数据量和高强度瞬时并发访问的折磨和考验。无论是企业的传统应用，还是新兴业务，随着数据量和业务量的不断高速增长，数据库系统的执行效率越来越低，数据库检索、读写时延等性能越来越低已经越来越成为制约整个系统性能和效率提升的瓶颈。

提升核心数据库存储平台，加速核心数据库的运行效率，已经对各大传统数据库用户造成极大的困扰。

需求分析

大量随机读写，极高的IO和延时要求——数据库日志文件自身的IO特点决定了其高IO和低延时的要求；

数据高可靠要求——数据丢失造成重大责任事故；

高速的访问量增长——企业数据库访问量随着数据量本身快速增长；

高速的性能负载增长——数据统一集中管理后系统负载大规模增加

高速的容量增长——企业业务信息和数据随业务的发展而持续膨胀；

业务负载不均衡——信息系统的负载严重不均衡，急需有高强度瞬时大规模并发操作的能力

海量数据整合——要对海量数据信息的整合处理

数据价值再挖掘——数据的深层次挖掘和分析的需求

数据应用智能化——企业数据的智能化处理的迫切要求

个性化和专业化需求——提供更个性化与专业化相结合的新服务

方案设计

1.方案概述

以TaoCloud FASS分布式全闪存储系统作为数据底座，为核心数据库提供高IO、低时延、高可靠的块存储服务，实现在线数据库高并发加速效果。

FASS以独创的XPE加速引擎，针对NVMe SSD / SATA SSD硬盘全面优化的处理方式，充分发挥SSD硬盘的读写特性，配合25GE-100GE高速RoCE网络或IB网络作为数据传输链路，实现了千万级IOPS，us级低时延表现，为核心数据库的加速提供了超强的存储支持保障，可作为替换传统高端磁盘阵列，甚至全闪磁盘阵列的不二选择。

支持RDMA的RoCE网络或IB网络不仅可以提供更高的带宽，其远程直接访问技术可以提供更低的链路时延，以保障更高的IO响应能力。因此要充分发挥FASS的系统性能，建议选用以上网络。

根据用户核心数据库的性能要求，FASS提供两款不同级别产品：

入门级FASS+SATA SSD+25GE RoCE / IB网络，提供百万级IOPS性能；

进阶级FASS+NVMe SSD+100GE RoCE / IB网络，提供千万级IOPS性能。

配合XDFS作为数据库的备份存储池，可作为数据库系统日志的多版本快速恢复目录，再配合备份软件还可以作为数据库的备份存储池，从而实现多途径、多选择、更快速的数据库恢复能力。XDFS具有广泛的兼容性，支持国内外常见备份软件，丰富用户的方案选型。

2.方案拓扑

方案拓扑图

3.组网说明

FASS设计独立的三个网络，分别为：数据公网、数据私网和管理网。

数据公网

用于承载数据库服务器与FASS集群之间的数据读写、检索查询等操作，对IO响应和链路延时等都有较大性能压力，使用一台独立的100GE RoCE交换机保证链路性能。

数据私网

FASS集群内部数据的均衡、分发、交互、验证都需要数据私网的支持，同样对带宽、延时、IO响应等有着较大性能压力，同样使用一台独立的100GE RoCE交换机保证链路性能。

管理网

管理网用来登录XDFS集群的WEB管理界面，完成配置、管理、状态查询等操作，该网络性能压力不大，连入千兆交换机即可，也可以与用户现有网络复用。

备份网络

XDFS作为备份存储池，通过10GE交换机连接备份管理服务器，通过备份管理服务器与核心数据库的通信，将数据备份到XDFS存储池中。

核心数据库服务器也可以通过10GE交换机直接访问XDFS存储池，直接将系统日志导出到该存储池，形成可直接使用的数据库恢复日志，从而更为快速的版本恢复。

4.冗余机制

FASS在线存储池

3节点FASS集群，三副本冗余，允许2/3的节点故障数据不丢失，业务不中断。配合多副本冗余、快照、故障域等设置，进一步提升数据可靠性。

XDFS备份存储池

XDFS作为数据库的备份存储池可根据实际需要配置，可提供TB-EB级的容量支持。根据数据库类型、数量、备份方式选购备份软件。

数据库加速

传统数据库的最大特点是日志文件必须在事务提交时写入到磁盘，对响应时间的要求很高。虽然日志文件被设计成顺序读写的文件，但其IO size太小(通常小于4K),且每个IO之间是独立的，造成存储位的间隔小，由此每次IO操作从机械硬盘中读取数据都会造成大量无效的寻址时间，从而降低IO响应，增加访问延时。

同时随着现代业务模式的发展，数据库面对越来越多的并发访问，数据库检索、查询的操作指数级增加，从而进一步造成数据库对IO性能和延时响应的极端要求。

对数据库加速最重要的手段就是对存储介质响应能力的提升，从而满足不断升级的性能要求。也因此业界公认以计存分离和全闪存储实现数据库加速的方式最为有效。同时配合负载均衡实现对超大型数据库或分布式数据库响应加速。

1.存算分离架构

TaoCloud FASS分布式全闪存储系统独立于数据库服务器，提供专业、独立的存储层支持。单节点可提供250万IOPS输出，通过分布式集群多节点并发方式，4节点即可提供超过1000万IOPS和100us+低延时的性能支持，面对传统数据库应用可以轻松满足其性能要求，达到加速效果。

FASS分布式全闪架构，不仅可以满足传统数据库对存储层的性能要求，面对超大型和分布式数据库，通过逐步增加FASS存储节点实现性能和容量的同步线性增长，同样可以满足其更为苛刻的性能要求。

计存分离的IT架构不仅能帮助用户更好的实现数据库在存储性能上的加速，也有利于按需规划和建设数据库系统。尤其分布式架构灵活的扩展方式，可以有效避免数据库在前期建设时的过渡投入和后续扩建时的升级难度，有利于用户的长期规划。

TPC-C 测试环境	DB-Server： OS：CentOS Linux release 7.6 CPU：双路Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz 内存：128GB 网卡：2 * Mellanox Technologies MT27710 Family [ConnectX-4 Lx] 25GE FASS-Server： CPU：双路Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz 内存：128GB 网卡：2 * Mellanox Technologies MT27710 Family [ConnectX-4 Lx] 25GE 数据盘：2 * Intel P4510 4TB U2 NVMe SSD 网络： Mellanox Technologies SN2410 IB Switch 测试工具： Benchmarksql5.0测试工具对数据库进行TPC-C基准测试 FIO测试工具对disk性能评估
FASS 性能表现	IOPS	4K随机读	FASS	131,766.00
			本地	65237.57
		4K随机写	FASS	189,930.25
			本地	57761.22
TPC-C 测试表现	New_Oder	使用BenchmarkSQL5.0联合某国产数据库测试，设定200 warehouses数据量，并发600 users，运行10分钟，完成448,100.21个New_Order操作

NVMe SSD硬盘繁忙情况

“nvme0n1”是本次测试FASS提供的全闪存储池，以红色线条标示，即上部连续红色线条。

如图所示：TaoCloud FASS分布式全闪系统已经完全发挥出NVMe SSD的性能，本次测试硬盘数量是制约测试结果的重要原因。随着硬盘数量的增加可以显著提升数据库性能

2.全闪分布式存储系统

数据库最核心的性能要求就是IO和延时。区别于传统分布式存储更换存储介质的方式，TaoCloud FASS分布式全闪存储系统原生即为NVMe SSD存储介质而设计研发，自研的XPE模块从根本解决CPU事务处理与IO中断之间的矛盾，全面释放NVMe SSD硬盘的存储特性，保证了全闪存储系统的整体性能输出。配合NVMe技术，提供从计算节点的CPU到存储节点的SSD，端到端的高性能存储解决方案，帮助用户实现数据库加速。

方案优势

极高的性能表现

FASS元数据服务基于内存K/V数据库实现，文件数据与元数据分别存储和管理，具备优秀的性能扩展能力。通过NVMe盘提供极致I/O性能，结合软件层的XPE引擎设计、微控制器技术、轻量元数据索引等机制，块存储端可达到单卷百万级，单集群（4节点）千万级IOPS、微秒级延迟，单集群（4节点）带宽可达50GB。

通过FASS的加持，用户核心数据库轻松实现倍数级性能提升，彻底摆脱数据层性能瓶颈。

高可靠的存储架构

FASS集群提供多副本和纠删码（EC）冗余方式，可以根据实际需求在更高的可靠、更高的性能输出、更高大的存储空间、更优的建设成本之间合理选择。多硬盘甚至多节点故障仍然可保证数据不丢失，业务不中断（具体情况视冗余方式不同），相比传统磁盘阵列具有更高的可靠性保障。

配合XDFS备份存储池的综合方案，不仅对在线数据提供安全保护，同时还提供数据库备份保护，在物理故障和逻辑错误发生时均可提供相应级别的高可靠保障。

超强的弹性扩展能力

FASS支持3-256节点的集群扩展能力，单卷超2PB的容量扩展能力，可按节点逐步扩展，配合自动精简配置实现存储池化能力，实现用户存储空间的无缝弹性扩展。

全面融入产业生态

FASS存储系统可与OpenStack、K8S、VMware、KVM等主流云、容器、虚拟化平台完美对接，支持CSI、Restful API等方式对接各种平台。

为响应国家信创战略，FASS存储系统全面适配主流国产化CPU及操作系统，如飞腾、鲲鹏系列服务器，麒麟操作系统等。

适用场景

所有高并发交易类数据库、查询类数据库等，如：

·金融行业数据库；

·信创领域数据库应用场景；

·原核心数据库国外高端磁盘阵列替换场景；

……

（TaoCloud团队原创）

全闪SDS之数据库加速解决方案相关推荐

『全闪实测』数据库加速解决方案
方案背景背景概述随着互联网和电子商务的迅猛发展,传统的大型结构化数据库系统在企业应用中承载着越来越多的应用,重载情况越来越突出,担当着企业业务和信息系统核心的重任. 但是,本来是为了传统业务的开展 ...
剑指核心-TaoCloud全闪SDS助力构建高性能云服务
FASS&裸金属云相对于虚拟化模式,裸金属服务器为用户提供物理服务器的租赁服务,延续了物理机无损性能这一得天独厚的优势,能够同时满足核心应用场景对高性能及稳定性的严格要求.使用裸金属服务器客 ...
绿色数据时代，全闪存与数据中心的注定邂逅
随着数据在数字化社会.智能化生活中扮演的角色愈发重要,我们也在经历一场从大数据时代,向绿色数据时代.高效数据时代.智能数据时代的升级变迁.在这个过程中,数据中心在社会经济中扮演的角色也愈发重要. 5月 ...
北京同仁医院存储现代化六字箴言：全闪“快”，双活“稳”
点击上方关注我们! 看眼科去哪里? 当然是同仁啊! 始建于1886年的首都医科大学附属北京同仁医院, 就坐落在北京最繁华的崇文门商圈的核心地带, 这是一家以眼科学.耳鼻咽喉科学为国家重点学科的大 ...
构筑数字底座，同济医院用全闪存提速智慧医疗
智慧医疗从未如此受到重视. 今年一场突如其来的新冠疫情,不仅充分证明了数字化技术在科技抗疫中的重要作用,也加速驱动着医院等医疗机构从数字化医疗走向智慧医疗. 事实上,从国务院<关于积极推进&qu ...
华为OceanStor全闪存技术论坛登陆上海滩：探寻智能时代闪存普惠
全行业.全场景的闪存普惠已成为大势所趋. 数字经济的加速发展,正在让一切变得数字化.智能化:而数据智能时代的到来,使得企业对存储的要求也水涨船高.如今,存储产业的变革已经悄然开始,全闪存凭借其精简.灵 ...
全闪存存储的数据库加速场景应用
华为OceanStor Dorado V3 是面向企业关键业务打造的全闪存存储系统 ,采用专为闪存设计的FlashLink技术 . l 专为闪存设计的存储系统,通过创新的FlashLink技术, ...
FASS全闪高性能文件网关解决方案
移动互联网.人工智能.5G.IoT等技术的发展,海量的终端催生了越来越高的业务性能需求,越来越多的文件业务场景要求被"加速",以提供快速响应和高带宽访问.HDD存储设备已无法满足高 ...
行业典型案例解读 | FASS全闪高性能文件网关解决方案
伴随移动互联网.人工智能.5G.IoT等技术的发展,海量的终端催生了越来越高的业务性能需求,越来越多的文件业务场景要求被"加速",以提供快速响应和高带宽访问.HDD存储设备已无法满 ...

全闪SDS之数据库加速解决方案

全闪SDS之数据库加速解决方案相关推荐

最新文章

热门文章