ZD至顶网服务器频道 03月23日 新闻消息: 随着云计算的快速普及,传统企业越来越关注基于云计算的下一代IT架构变革了。回顾企业IT架构演进历史,主要经历了“传统孤岛”、“x86+虚拟化”和“云化”这三个阶段。

最初的“传统孤岛”,软硬件堆栈各层间缺少统一的工业标准化,呈现出内聚与耦合的特征。随后的x86标准化带来计算、存储、网络、操作系统、中间件、应用层等多层次水平分工架构,为了提升IT灵活性和资源利用率,虚拟化开始在数据中心部署,IaaS实现了虚拟机级弹性伸缩,但IT基础设施扩张很快,系统层层堆叠,各层间集成交付的难度越来越大,同时,仅虚拟化也难以满足不断增加的业务对资源的变化需求。

于是企业开始期望将服务作为IT核心,提升业务敏捷性,同时大幅降低TCO,这时PaaS和应用资源池化实现了集群级弹性伸缩,很大程度上缓解了IT资源与业务发展之间的矛盾,让企业更专注于上层业务逻辑的运营。如果说IaaS属于云化的“初级”阶段,PaaS和应用资源池化就是云化的“进阶”阶段。而今天故事的主角DCOS实现了数据中心级弹性伸缩,使它称得上“深度”云化的发动机了。

回顾:DCOS是什么?

数据中心操作系统(Data Center Operating System,简称DCOS)是为整个数据中心提供分布式调度与协调功能,实现数据中心级弹性伸缩能力的软件堆栈,它将所有数据中心的资源当做一台大型计算机来调度,可以视作这个大型主机的操作系统。下表给出了Linux OS与DCOS(以基于Mesos为例)的类比:

Linux OS

DCOS

资源管理

Linux Kernel

Mesos

进程管理

Linux Kernel

Docker

任务调度

Init_d、cron

Marathon、Chronos

内部进程通信

Pipe、Socket

ActiveMQ、RabbitMQ

文件系统

ext4

HDFS、Ceph

太平洋保险DCOS平台关键技术选型

在今年春节期间,太平洋保险联合上海天玑数据,采用DCOS平台改造微信应用系统来支撑推出的“除夕夜摇红包”、“初五迎财神”等系列活动。活动期间DCOS轻松支撑高达每秒10万笔交易的业务高峰,仅除夕当夜微信增粉量就超过1300万。

这次太平洋保险进行综合评估技术选型后,最终选择了基于Mesos + Docker搭建DCOS平台。功能框架如下:以Docker为基础封装各类应用和运行环境,以Mesos、Marathon为核心实现容器资源的分布式调度与协调,以HAProxy、Etcd为辅助实现服务注册引流。

1. 应用封装:Docker

Docker为开源的应用容器引擎,在标准的LXC之上融合AUFS分层镜像管理机制,抛弃传统虚拟机试图模拟完整机器的思路,而是以应用为单元进行“集装封箱”,是轻量级的虚拟化技术。

Docker Engine可以自动化部署应用到可移植的的容器中,这些容器独立于硬件、语言、框架、打包系统。一个标准的Docker容器包含一个软件组件及其所有的依赖,包括二进制文件,库,配置文件,脚本等,实现持续集成与部署,快速迭代应用程序。

Docker容器可以封装任何有效负载,几乎可以在任何服务器之间进行一致性运行。开发者构建的应用只需一次构建即可多平台运行。运营人员只需配置他们的服务,即可运行所有应用。

2. 资源调度:  Mesos

Mesos是为构建和运行其他分布式系统提供服务的分布式系统。它将CPU、内存、存储介质以及其它计算机资源从物理机或者虚拟机中抽象出来,构建支持容错和弹性的分布式系统,并提供高效的运行能力。

Mesos以Framework(框架)的形式,提供了“两级调度机制”,将任务的调度和执行分离。

Mesos Master负责将资源分配给各个框架,而各个框架的Scheduler进一步将资源分配给其内部的各个应用程序。

Mesos能和不同类型的Framework或Application通信,每种Framework或Application由相应的应用集群管理。

Mesos Slave的Executor具备调用Docker能力,当 Executor接收到Task时启动Docker,其可以调用Docker去启动一个容器。

3. 任务调度: Marathon

Marathon是基于Mesos来做任务调度,Mesos仅负责分布式集群资源分配,不负责任务调度。

Mesos集群可以混合运行来自Marathon的不同类型的任务。

Marathon基于Mesos的任务调度为动态调度,即每个任务在执行之前是不知道将在哪一台服务器上执行和绑定哪一个端口。

下图为Marathon执行任务调度示意图。9台服务器(灰色)组成的Mesos集群上混合运行各种Marathon调度的任务,其中一台服务器坏掉以后,这台服务器上的任务就受影响,Marathon可把任务迁移到其他服务器上,实现容错。

4. 服务注册与引流: HAProxy + Etcd

HAProxy提供高可用、负载均衡的解决方案,而Etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现,提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能,可以方便的跟踪并管理集群节点的状态。 Etcd与HAProxy配合能够实现数据中心应用的动态引流。

太平洋保险DCOS“春节红包活动”实践

为应对这次春节红包活动业务系统的瞬时高峰压力,太平洋保险DCOS平台采用223个主机节点,其中平台部分由5个节点构成Mesos Master Cluster,80个节点构成HAProxy Cluster,138个计算节点承载674个Docker Container,其中动态计算节点113个,静态计算节点25个。该平台可在1分钟内轻松实现扩展到1000个以上Docker节点。

DCOS的实战威力不可小视:

1. 巧妙分离动静态资源池,大幅提升应用访问速度

考虑到互联网应用中会使用大量图片和动画等静态资源,为提高服务访问速度,该DCOS架构通过动静分离,将静态资源服务器和动态资源服务器池化并分开管理(分别放置在DMZ-WEB区和DMZ-APP区,前者放置静态资源池,后者放置动态资源池,见上图)。于是,静态资源请求可直接通过静态资源池完成,不必再访问后端动态资源池,减少动态资源池的压力。而且采用专门的静态资源服务器,具备Cache能力,可大幅提升静态资源的访问速度。

2. 简化网络复杂度,提高网络访问速度

太保原架构DMZ-WEB区的请求在穿过防火墙后需再经过DMZ-APP区的一个F5设备和HAProxy才能到达动态资源服务器,这样就多增了两层网络服务器的访问,降低访问速度,当然故障点也增多了。而改造后的架构,将动态资源池的路由信息同步到DMZ-WEB区的HAProxy中,HAProxy根据路由信息将动态请求直接转发到动态资源池上,从而极大简化网络路径的复杂度,网络访问速度明显提升。

3. 超强弹性伸缩、快速持续集成

此次除夕微信红包与初五抽奖活动间隔时间紧,若采用繁琐耗时的传统部署方法——得经过主机、操作系统、中间件、数据库和应用的集成部署,还得经过一定调试后才能对外提供服务。而改造后的DCOS通过与容器技术的深度结合,实现超强弹性伸缩,快速响应、持续交付,仅在10分钟内就完成共享资源的全部调整,有力保障业务的连续。

4. 更细粒度资源调度,实现高资源利用率

DCOS相较于虚拟机管理,有着基于CPU、内存的更细粒度的资源调度,多个计算框架或应用程序可共享资源和数据,大幅提升资源利用率,根据统计DCOS资源消耗可以节省50%。

5. 高效的跨数据中心的资源调度

DCOS平台展现了其在线性动态扩展、异地资源调度等方面的优异性能,1分钟内快速扩展到1000+的容器(如果应用更轻量启动速度还可以更快),平台和计算节点完全跨机房分布式调度。

6. 分布式架构保障高可用

DCOS平台所有组件采用分布式架构,应用跨机房分布式调度。自动为宕机服务器上运行的节点重新分配资源并调度,保障业务不间断,做到故障自愈。

结束语

总之,传统企业在“互联网+”的背景下,IT基础架构的发展要确保新技术的研究和应用与企业未来业务发展需要相一致。而今,云计算相关技术正在逐渐演化成熟,尤其PaaS领域的技术发展更是日新月异。以DCOS为代表的下一代轻量级PaaS正越来越为业内所关注。DCOS凭借其数据中心级弹性伸缩能力、快速持续集成等轻量优势,帮助企业快速应对业务需求,为传统IT的敏捷转型提供了新机遇。(文章转自infoQ)

作者简介

胡罡  现担任中国太平洋保险集团股份有限公司信息技术中心应用运行支持部副总经理。长期从事保险行业信息化建设,曾多次主持大型保险信息系统建设和推广工作,参与和实施保险核心系统数据大集中和重构工作,参与大型数据中心建设和系统搬迁,参与智能移动保险平台建设。目前主要从事云计算和大数据相关技术研究和应用,面对移动互联浪潮的挑战和机遇,积极探索和实践传统行业IT运维模式的转型升级。

黄超 现担任中国太平洋保险集团股份有限公司信息技术中心需求规划与项目管理部资深IT架构师。2004年起在互联网行业从事互联网系统开发工作,中国最早一批进行互联网移动应用开发的IT人员,曾参与数款国内知名高并发大型互联网应用项目全程开发和架构设计。2009年起在太平洋保险就职,主要从事互联网项目,云平台和大数据相关技术研究和架构设计,结合自身互联网和金融行业的经验在互联网浪潮的改革中进行积极研究和探索。

原文发布时间为:2016-03-23

本文作者:胡罡 黄超

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

从太平洋保险DCOS实践看企业IT架构演变相关推荐

  1. 从太平洋保险DCOS实践看传统企业的魅力变革

    在传统企业正在积极拥抱"互联网+",寻求IT转型之道的背景下,本文以太平洋保险DCOS成功迎战今年"春节全民抢红包"的实践为例,详细介绍了DCOS的核心技术以及 ...

  2. 从阿里中台战略看企业IT架构转型之道(上)

    此文是我阅读<企业IT架构转型之道>一书的学习笔记的上半部分,所有内容出自钟华老师的这本书. 零.为何阅读<企业IT架构转型之道> 在加入X公司后,开始了微服务架构的实践,也开 ...

  3. 从阿里中台战略看企业IT架构转型之道(下)

    此文是我阅读<企业IT架构转型之道>一书的学习笔记的下半部分,所有内容出自钟华老师的这本书. 上半部分Part1~Part5请点击这里 Part 6 异步与缓存原则 异步化 事务 => ...

  4. 帆软行业总监陈鹏:从500强企业看企业数据应用最佳实践

    近日,畅享网携手appcan成功举办企业"移动化"案例分享沙龙.本次沙龙由新城控股集团星翼空间总经理從申主持,精准聚焦"移动化"成功转型案例.会上,各位IT专业 ...

  5. 中小型研发团队架构实践:电商如何做企业总体架构?

    http://www.infoq.com/cn/articles/architecture-practice-09-enterprise-architecture?utm_source=infoq&a ...

  6. 先不听BAT高谈阔论,只看企业实际应用:数据中心架构如何演进?

    互联网崇尚分享,互联网公司的大牛们也乐于与业内的同行在各种大型会议.小型沙龙上分享技术心得.切磋实战经验,这一浪潮的兴起,在短时间内对中国互联网及IT开发.运维领域的整体水平的进步,起到了不可忽视的重 ...

  7. 贷款15万竟然搭售9.72万保险,太平洋保险“太享贷”业务被投诉借贷搭售

    来源 | WEMONEY研究室 作者 | 钟泰 "贷款15万元,按等额本息的方法分36期还款,每月还款6825.19元,其中还包含了2250元的保费--" 近期,江苏的何先生在第三 ...

  8. DSG-RealSync在保险行业的应用案例(太平洋保险)

    太平洋保险公司简介  中国太平洋保险(集团)股份有限公司(以下简称"太平洋保险")是在1991年5月13日成立的中国太平洋保险公司的基础上组建而成的保险集团公司,总部设在上海, 2 ...

  9. 手把手快速搭建智能语音客服——保险问答实践

    零基础快速搭建全流程智能语音客服系统--保险问答实践 1. 背景介绍 智能语音客服是智能客服的重要组成部分,在语音相关的人机交互场景中都有所应用,如智能外呼机器人,智能呼入机器人,虚拟人客服,数字员工 ...

最新文章

  1. 山石网科发布智能下一代防火墙新版本 应对未知威胁
  2. 从源码分析DEARGUI之交互添加和删除组件
  3. 【Python】20个小技巧,让数据可视化图表更专业!
  4. ansys经典界面分析工字钢_ANSYS做一个工字钢的热分析
  5. 天池 在线编程 队列检查(排序)
  6. 搜索引擎核心技术与算法 —— 词项词典与倒排索引优化
  7. POJ1273 Drainage Ditches(最大流基础题)
  8. 【蓝桥杯单片机】定时器和中断
  9. 职场上个人的核心技术_职场上,靠谱比聪明更重要:如何做一个靠谱的人
  10. MySQL备份mydumper的原理【转】
  11. Python下使用tarfile模块来实现文件归档压缩与解压
  12. 关联与依赖区别理解(原)
  13. Atitit保证架构超前性 前瞻性 目录 第一章 为什么需要修改代码 1 第一节 业务增加功能 1 第二节 增加字段 1 第三节 增加表数据需要查询 修改 1 第四节 类库升级 1 第二章 简单抽象
  14. HTML5 实现摄像头实时监控
  15. win10远程桌面_怎么选择Win10系统版本?家庭版与专业版的对比介绍
  16. css实现遮罩层动画
  17. 把自己做的网站进行app封包
  18. 使用yum报错:There are no enabled repos. Run “yum repolist all“ to see the repos you have.
  19. MeterSphere:超好用的开源测试平台
  20. 1032 挖掘机技术哪家强

热门文章

  1. 空气质量指数日历史数据
  2. c语言谷歌坐标转百度坐标,关于GPS定位经纬度到谷歌(google)坐标以及百度(百度)坐标的转换c#源码...
  3. mysql的4表联查讲解_mysql
  4. 如何使用html实现在线秒表,使用JavaScript实现网页秒表功能(含开始、暂停、继续、重置功能)...
  5. 【FME】平行线中心线生成思路
  6. Linux解决tar:它似乎不像是一个tar归档文件
  7. 16年4月21号:Git版本控制工具的使用
  8. 3ds max 效果图设计与制作-VRay物理相机参数详解
  9. 再见迅雷!推荐一个绿色无广告的开源下载工具
  10. SAP 中文调研提纲