【交易技术前沿】海通证券金融云思考与实践（下）

海通证券信息技术管理部

王洪涛、王朝阳、纪飞、魏勇、张真真

上一期《海通证券金融云思考与实践(上)》一文中讲述了OpenStack架构设计和多类型底层存储资源池相关的内容，这篇文章将会重点讲述海通金融云SDN实践、CMP纳管异构资源池实现资源统一交付和海通证券金融云的未来规划等相关内容。

1.云网联动、融合业务(SDN)

海通证券研发测试云一期项目中，金融云团队充分的使用并发挥了软件SDN的优势，为了进一步提升网络性能及管控能力，在研发测试云二期和生产云一期项目中引入了基于硬件SDN的网络架构，并与OpenStack Neutron组件对接，形成云网联动。

通过云平台对接硬件SDN控制器，云环境下的网络管理入口统一由CMP操作界面发起，用户对网络环境的创建、变更和维护均通过云平台驱动硬件SDN控制器完成，不但可以对金融云的网络集中管控，形成统一的操作视图，实现计算资源和网络资源的高效联动；同时网络管理员也可以在SDN控制器上查看业务访问视图、网络逻辑视图、物理连接视图，快速定位故障点，极大的提高工作效率。

图1：SDN业务模型

1.1.SDN部署模式：软件SDN vs 硬件SDN

根据VxLAN中VTEP 部署的形态不同，可以分为软件SDN和硬件SDN两大类：

1、软件SDN：在软件SDN方案中，网络功能是通过软件层面的Linux协议栈以及相关的vSwitch技术实现的。它的优点是可以避免对硬件网络设备的过度依赖，同时降低了组网的成本。同时此方案的缺点也比较明显：1）一是性能较低，由vSwitch负责VxLAN隧道的建立以及报文封装转发，VxLAN网关转发性能低，同时会降低服务器业务数据的处理性能；2）运维较复杂，vSwitch与Hypervisor的操作系统耦合，网络故障定位困难，同时要求网络运维人员有较高的运维能力（比如精通Hypervisor）。

海通证券研发测试云一期项目中采用了此种方案，业务和管理均采用万兆网络平面，随着云平台中租户逐渐增加（目前约400租户），对网络节点性能的要求也在不断提高。

2、硬件SDN：在硬件SDN方案中，网络功能是通过专用的硬件交换设备与SDN控制器来实现的。SDN控制器作为网络的大脑，对硬件设备进行策略的下发，将传统的各自为政的网络变为了一个整体，进行网络策略的灵活调配和控制。它的优点是VxLAN网关吞吐量高、时延低，用户操作简单，有更高可靠性和可扩展性的架构；而缺点是价格高、厂商锁定。

海通证券研发测试云二期和生产云一期均采用了此种方案，通过与OpenStack/CMP集成，所有的网络业务都由CMP发起，然后调用OpenStack的API接口，把相应的网络业务转换为SDN控制器可识别的逻辑网络，最终由SDN控制器完成逻辑网络到物理网络的映射/业务发放。

1.2.硬件SDN物理架构设计

此次硬件SDN物理架构设计亮点较多，主要介绍以下几个：

1、分布式VxLAN网关：硬件SDN方案分为集中式VxLAN网关和分布式VxLAN网关，集中式VxLAN网关受限于网关设备的虚拟路由器的规格限制，无法满足大规模业务场景的扩容需求。分布式VxLAN网关的虚拟路由器是按需分布在不同的Server Leaf上的，组网规模不受限，容易实现平滑扩展。

2、VxLAN控制层协议：利用扩展路由协议MP-BGP EVPN协议完成VxLAN控制平面的地址学习后，VxLAN隧道会自动建立并自动关联。利用EVPN的BGP RR（Spine作为RR反射器）实现邻居发现，每个设备都通告自己的VxLAN信息，每个VTEP设备都有全网的VxLAN信息以及VxLAN和下一跳的关系。VTEP设备会和那些跟自己有相同VxLAN的下一跳自动建立VxLAN隧道，并将此VxLAN隧道跟这些相同的VxLAN关联。相较于使用OpenFlow协议统一下发配置带来的优势有：1）SDN控制器只负责下发服务策略，不下发控制流表，可靠性更高；2）实现控制器与网络设备之间的松耦合，提供更高可靠性的Fabric网络；3）标准化：控制面使用EVPN，属于标准协议；4）减少广播报文泛洪，地址通过EVPN自动同步。

3、M-LAG部署：OpenStack中所有节点都双归接入到两台不同的交换机设备上，当两块网卡处于负载分担模式时，为避免远端交换机设备出现基于VTEP IP的MAC漂移问题，节点接入的两台不同交换机需配置唯一的虚拟VTEP IP。使用M-Lag技术基础上配置虚拟VTEP IP，实现流量一致性。M-LAG技术可以在两台物理交换机上配置相同的VTEP IP，但从管理面角度看两台设备依然彼此独立，可独立升级部署，进一步提高接入可靠性。

1.3.SDN控制器对接Multi-Region OpenStack

海通证券金融云支持7×24小时持续运行的业务应用，通过设计Multi-Region架构，使应用分别部署在物理隔离的两个Region里，从而业务实现跨Region级别的高可用。这就需要在一个物理的SDN Fabric中部署两套云平台，海通证券率先使用此架构设计，引领证券行业金融云发展的同时，也在多方面进行了创新。

1、对接标准OpenStack(华为SDN方案)：SDN控制器与Neutron Server进行对接：AC Agent通过ML2 MetaData、L3 Plugin、FW Plugin、VPN Service Driver和QOS Notification Driver等对接SDN控制器。AC Agent北向通过API上报对象状态，AC Agent南向通过JSON RPC和SDN控制器进行通信。

图2：华为SDN对接标准OpenStack架构

2、对接Multi-Region OpenStack：传统方案下，SDN控制器对接多个OpenStack云平台时，使用的是不同的Keystone组件进行对接。海通证券金融云项目的两套OpenStack云平台共用一套Keystone和Dashbord管理界面，用户使用同一账号系统进行认证，并对两个Region分别进行资源管理和使用。区别于传统对接方案，此次项目中，SDN控制器专门增加租户多因子识别校验，用户登录云平台进行网络资源调度时，SDN控制器不仅会识别用户的账户信息，还会额外识别业务租户所携带的Region标识，进而实现同一用户操作不同Region的网络资源时，配置编排正确下发。

3、多业务区域网络隔离：云平台内的多个业务区域（比如：互联网交易区、大数据业务区等等）可以按照需求实现计算物理隔离和网络物理隔离。

按照传统数据中心的习惯，多个业务区域是互相隔离的，不通区域之间的互访需要经过相应的防火墙。这样的隔离在SDN网络中是相对容易实现的，可以在Spine Leaf上扩展多对Border Leaf，每一对Border Leaf上分别一个外部网关来服务于应相应业务区域；也可以在一对Border Leaf上创建对多个外部网关来服务于相应的业务区域，两种方案各有优缺点，可以根据业务和后续的扩展方式不同确定。

4、FWaaS实现防火墙策略自动下发：SDN控制器纳管了Fabric内的防火墙，通过FWaaS和OpenStack云平台对接，用户可以直接在OpenStack云平台上给防火墙基于业务需求进行NAT、IPsec VPN、安全访问策略等功能配置，进而可以在云平台上实现网络、安全、计算、存储资源统一管理。

1.4.硬件SDN提升海通证券金融云平台业务价值

海通证券金融云平台通过集成硬件SDN构建了一个弹性可扩展、敏捷自动化、稳定高可用、可智能运维的基础设施服务平台，从而提升云平台的业务价值。

1、弹性可扩展：打破了竖井式架构中网络对资源共享的区域限制，实现网络资源池整合与灵活共享；支持跨机房模块部署，服务器接入与物理位置解耦；优化数据中心内部各物理分区的划分，提高服务器、存储、安全等资源池化共享能力；支持多租户隔离，可以为不同的租户分配不同的网络资源。

2、敏捷自动化：将OpenStack所使用的网络平面通过逻辑网络映射到物理网络，并自动化完成业务语言到网络语言的转换和配置下发，动态调配整个数据中心网络资源与安全资源，让网络更敏捷地为业务服务；SDN控制器通过网络服务、负载均衡、防火墙的策略自动部署和回收，实现服务器节点资源分配的动态绑定网络服务，将很大程度上帮助网络工程师避免繁杂的手工操作，大幅提升网络运维效率。

3、稳定高可用：网络接入层使用M-Lag技术，可以在两台接入层交换机上实现服务器双归接入，但保留管理的独立性，可独立升级部署，消除网络接入层单点故障隐患；结合SDN控制器分布式集群部署和网络设备硬件全热备设计以及链路层的ECMP多路径负载均衡设计，稳定性进一步提升。

4、智能运维：物理网络和逻辑网络图形化呈现和管理，实现所见即所得；网络运行质量的关键指标包括丢包、时延、抖动等可视化呈现，实现网络风险提前预警，帮助运维人员及时规避网络重大故障。

1.5.实施过程中的经验分享

在金融云建设过程中，网络是最复杂也是关键的一部分，需要更深入的了解SDN的原理、软件技术细节和硬件的规格。

1、硬件SDN的规格问题：跨租户之间的互访是需要经过SDN防火墙的，每创建一个VRF ，都会在Border Leaf旁挂的SDN防火墙中创建一个对应的虚拟防火墙；同时一组Border Leaf支持旁挂多组SDN防火墙，新建VRF时，SDN控制器会随机创建虚拟防火墙到某一组SDN防火墙中。

至少需要考虑几个方面的规格：1）Border Leaf支持的VRF数量；2）SDN防火墙能创建的虚拟防火墙的数量；3）一组Border Leaf能够外挂的防火墙数量等。不同级别的设备支持的规格大小不尽相同，而最终云平台能够使用的资源规格是一个综合计算的结果，这些需要根据云平台支持业务规模的大小来决定。例如：如果一对Border Leaf支持的VRF上限为512个，一组SDN防火墙能支持的虚拟防火墙数量为100个，而Border Leaf最多可以外挂4对SDN防火墙，则最终能够使用的虚拟防火墙数量是400。

2、是否开启重启自动对账功能：重启自动对账功能的主要作用是：当业务正常下发时，一台Server Leaf因为故障导致了重启，此时策略只下发到了一组Server Leaf的一侧，重启之后，会以控制器数据为准，同步差异的策略。

优点是管理方便，差异策略自动同步；缺点是手动添加到AC的策略会被覆盖掉。如果开启此功能的话，尽量能够配合一系列的管理规定，比如：不允许手动添加配置等。

2.异构纳管、统一管理(CMP)

在海通证券金融云的整体架构中，云管理平台平台(CMP, Cloud Management Platform)作为独立的一层而存在。这一层主要承担着异构纳管，统一管理的职责，具体来说，其职责可以分为以下几个方面：

1、作为海通证券金融云面对最终用户的门户，提供简单、一致、高效的云资源操作及管理的界面。金融云最终用户通过云管理平台可以获得标准的服务目录，通过自助服务平台自助高效的获取云资源，并对属于自己的云资源进行生命周期内的管理。

2、作为海通证券金融云建设规划及最佳实践的承载平台，将金融的整体规划以及使用云平台的最佳实践固化到平台内，让最终用户可以按规划、以最佳实践的方式使用云平台。

3、作为海通证券金融云运营平台的重要组成部分，提供面向最终用户的云服务日常运营（如计量计费、使用分析、报表汇总等）和面向平台运维团队的云服务日常运维（如监控告警、巡检、大屏展示等）。

海通证券金融云建设过程中持续投入资源，根据实际需要，经过两年的联合研发，并逐步形成具有自身特色的金融云云管理平台。

2.1.整体架构介绍

云管理平台处于IaaS/PaaS与最终用户之间，提供一系列的面向最终用户和平台运营方服务，整个云管理平台主要由以下几个部分组成：

1、基础设施对接层：该层完成对于底层IaaS/PaaS层服务能力的对接。目前，海通证券金融云云管理平台已经完成对基于VMware的资源池、基于OpenStck的资源池、以阿里云和腾讯云为主的公有云资源池的对接。

2、服务运营层：该层是云管理平台的核心能力所在，具体分为运营分析、服务运营以及自服务三个独立模块。其中，运营分析提供对被纳管的云资源的数量、利用率、成本等方面进行跟踪分析，并以丰富的可视化图标方式展示出来；服务运营则是提供给平台管理端来进行资源池规划设置，服务目录定义，配额管理等工作；自服务模块则面向金融云最终客户，提供服务自助申请，云资源自助管理等服务的。

3、基础管理层：该层主要提供云管理平台最基础的配置界面，具体包括用户管理、组织管理和工作空间管理。云管理平台管理员需要基于这些基础管理界面搭建出来整个金融云对外服务的用户租户体系结构。

4、安全管理层：该层主要提供配合云管理平台使用而建设的安全管理能力，包括不同角色的操作权限，系统云资源访问的运维审计（即堡垒机）能力以及平台日志审计能力。

5、金融云门户：云管理平台的统一UI框架，按不同角色定义不同视角的门户界面，目前主要包括服务运营门户、自助服务门户和大屏展示等几个模块。

图3：CMP异构资源池纳管和资源统一交付

2.2.CMP提升海通证券金融云平台业务价值

海通证券金融云的云管理平台具有多种核心能力可以提升云平台的业务价值，比如：异构纳资源池管能力、资源池管理能力、自动化交付能力和运营支撑能力等。

2.2.1.异构纳管能力

异构纳管能力是云管理平台建设的一个基本能力，简单来说就是它需要提供一种机制可以快速对接不同的基础设施平台，同步基础设施平台的基本配置、存量资源，管理数据，并以此为基础对上支持平台的各种服务能力。目前，海通证券金融云云管理平台已经完成对基于VMware的资源池、基于OpenStck的资源池、以阿里云和腾讯云为主的公有云资源池的对接。以OpenStack环境为例，可以完成：

1、完成对于OpenStack物理层环境的感知和展示，获取物理层宿主机的列表、配置以及使用情况。

2、完成对于OpenStack上存量租户及资源的自动化发现，并提供将相关云资源纳管到云管租户体系内，交付给最终用户的能力。

3、完成对于OpenStack上主机生命周期，网络以及存储资源控制面的对接，为通过云管理平台对其进行进一步操作提供基础。

为了保证云管理平台整体架构的稳定，实现云管理平台与IaaS/PaaS平台的解构。当前平台中异构纳管能力的建设采用平台插件的模式进行开发。通过独立插件将不同IaaS/PaaS平台的异构纳管能力进行适配并对上提供一致的能力接口：1）可以非常灵活的接入不同的IaaS/PaaS层的能力；2）也可以向上屏蔽不同基础设施的差异。

2.2.2.资源池管理能力

作为基础设施资源的管理平台，资源池管理能力是其必备的核心能力。一般来说，云管理平台资源池管理能力需要支持数据中心资源的全生命周期，即规划阶段（Day0）、部署阶段（Day1）和变更阶段（Day2）。需要在云管理平台通过资源池的管理能力支撑以上三个阶段的日常运维管理的原因是：

1、金融云IaaS层不但需要关注标准基础设施服务层面的建设和交付，也需要关注使用IaaS层资源的业务规划，例如：不同网络区域支持不同业务，不同存储类型支持不同业务角色等。

2、要实现云资源面对最终业务用户全自助、自动化的交付，需要有一层平台能够将用户定义在文档中的各种业务规划“程序化”，可以在云资源最终业务交付过程中自动化获取并应用。

3、云管理平台处于最终用户和IaaS平台之间，一方面可以通过IaaS平台的API灵活控制IaaS平台的配置、获取信息以及实施操作。另外一方面，云管理平台面对的最终用户为业务用户，可以关联和预配置好业务相关信息，从而在一个平台上具备“前”和“后”两端数据，从而有可能建立好兼顾后端平台实际和前端业务需求的资产池管理模型。

基于以上分析，海通证券金融云云管理平台引入了“逻辑资源池”的概念，并通过对于逻辑资源池的定义、使用和跟踪实现了云管理平台资源池管理的能力。具体来说，整个实现包括以下几个方面：

1、定义由计算资源和存储资源组成的逻辑资源池：通过OpenStack API读取当前物理资源池上计算和存储资源，并按资源池类型及IaaS平台的规划定义出逻辑资源池。

2、为所有逻辑资源打上相关的标签：这些标签包括地理位置、IaaS平台属性、资源池级别、业务属性等，并将其向最终业务用户开放，供业务用户按实际需求进行选择，进而通过标签选择来定位出合适的逻辑资源池进行业务部署。

3、定义独立的网络资源池并与计算存储资源池进行关联：结合公司的实际情况，以OpenStack中Floating IP为代表的网络资源为例，预先为每个租户分配好网络资源池，与计算资源、存储资源相匹配，则最终用户则可以按照自己的需求自助服务（注：对应访问公网的业务，还需要按照公司规定走网络开通的流程）。

4、实现对不同组合逻辑资源池定向授权的能力：平台能够细粒度得控制不同业务组合可以使用的资源池，从而灵活为不同环境、不同业务场景授权合适的可选资源池。

通过以上逻辑资源池的建设，海通证券金融云云管理平台基本能够实现IaaS层物理资源的逻辑抽象，并在云管理平台对其进行细粒度的运营和控制，同时能够完全支持业务资源交付的完全自助模式。

2.2.3.自动化交付能力

云管理平台通过异构纳管能力完成和IaaS/PaaS平台的能力对接，可以通过API实现IaaS/PaaS层资源的创建、变更、查询和销毁。但是，IaaS平台的API层仍然只能提供IaaS资源层面的管理，对于如云主机这样资源内部的管理和自动化仍然无能为力。而从业务角度看，业务用户希望对于云主机这样的资源能够提供“由外而内”的全栈自动化能力。因此，云管理平台一个重要的能力就是提供云资源的全栈自动化交付。

在海通证券金融云云管理平台中支持对云主机启动后的基础OS环境初始化，包括用户、密码、OS安全加固、系统初始化等工作，也支持在云主机创建过程相关中间件的自动化安装或者初始化，包括如对于DB2、Oracle的自动化安装部署。

除此之外，全栈自动化交付能力还体现在对于很多常规长流程操作的封装和自动化，以业务租户的全流程初始化为例：当用户需要为一个业务申请一个独立租户并服务业务，在IaaS平台上需要做的工作内容较多且有一定的技术门槛，云管理平台可以将这个初始化流程标准化并全自动化的完成，将用户开启使用金融云的门槛大幅度降低；海通证券金融云业务租户全流程初始化（由云管一键自动完成）包括IaaS租户创建、用户资源池授权、默认私有云网络创建、默认私有网络路由器初始化、分配路由器Floating IP、配置租户防火墙等。

自动化交付能力与逻辑资源池相结合，则会衍生出来更为强大的服务能力，实际业务中集群化部署（比如：数据库主-备节点部署）环境需要指定不同主机的放置策略，云管理平台在逻辑资源池层面提供了放置策略能力（集中放置、均衡放置、指定放置），这样，云管理平台就可以在一次批量资源申请中将多台机器按用户选择的放置策略进行跨资源池放置。

3.持续创新、引领发展

海通证券金融云建设的过程中，通过实施Multi-Region架构、集成SDN控制器、提供多种类型存储资源池完成多项行业内云计算方案的创新应用。

后续还会持续进行比如容器云平台建设、DevOps实践、应用微服务化等多项创新，从而能够进一步引领云计算技术在证券行业的应用和发展。

【交易技术前沿】海通证券金融云思考与实践（下）相关推荐

【交易技术前沿】实时计算系统建设经验分享
摘要:实时计算技术已经应用到广告.电商.游戏.文娱等各个领域,比如电商网站实时分析用户属性,基于分析结果给客户推送相关商品:网络游戏实时分析玩家数据,进而对游戏参数和平衡性进行调整.本文重点讲述中信建 ...
案例研究：海通证券金融云统一云管理平台建设历程
伴随着互联网金融的快速发展和普惠金融的深入落地,金融科技能力成为传统金融企业支持未来业务发展.实现企业数字化转型的核心能力.作为支撑金融科技的全新基础设施形态,云计算成为企业金融科技能力建设的关键抓手 ...
量化延时法时间测量_「交易技术前沿」交易系统低延时测试与分析
本文选自 <交易技术前沿>总第三十三期文章(2018年12月) 证券期货行业测试中心(中金所) 魏畅陈冬严张鸿晔摘要:订单延时(Latency)是衡量交易系统性能的重要指标.本文利用 ...
阿里巴巴服务网格技术三位一体战略背后的思考与实践
简介:本文分享了阿里巴巴服务网格技术三位一体战略背后的思考和实践,关于阿里云服务网格 ASM 的一些产品功能,包括最近发布的一些功能. 作者:宗泉.宇曾阿里巴巴三位一体战略阿里云内部很早就提出了开 ...
海通证券：云管理平台统一纳管金融云混合基础设施
伴随着互联网金融的快速发展和普惠金融的深入落地,金融科技能力成为传统金融企业支持未来业务发展.实现企业数字化转型的核心能力.作为支撑金融科技的全新基础设施形态,云计算成为企业金融科技能力建设的关键抓手 ...
技术前沿：分布式缓存Redis Cluster在华泰证券的探索与实践
关注↑↑↑我们获得更多精彩内容! 本文选自<交易技术前沿>总第三十期文章(2018年3月) 作者:樊建陈营葛宝磊/华泰证券股份有限公司 Redis Cluster作为最热门的开源分布式 ...
TDSQL:解锁数据库前沿技术要点 | 腾讯云数据库DTCC 2021亮点回顾
10月20日,一年一度的数据库技术交流盛会--DTCC 2021(第十二届中国数据库技术大会)在京圆满落幕. 大会以"数造未来"为主题,重点围绕数据架构.人工智能与大数据应用.传统 ...
第二届金融交易技术大会拥抱Fin Tech-创新、科技、融合在沪圆满落幕！
2017年4月7日上午9时,由Leader Group.FC CLUB主办的博览会-"第二届中国金融交易技术大会暨2017金融在线交易博览会"在上海国际会议中心隆重召开.金融科技使 ...
专访阿里金融云徐敏：为普惠金融地提供技术原力
图丨阿里金融云总经理徐敏回顾十几年的职业生涯,用徐敏自己的话说:"要么在金融行业做IT,要么在IT公司做金融."这样的经历,使徐敏对整个金融行业的科技发展有较为深刻的认识. 记 ...

【交易技术前沿】海通证券金融云思考与实践（下）

【交易技术前沿】海通证券金融云思考与实践（下）相关推荐

最新文章

热门文章