1、基因行业背景

1.1. 中国基因市场分析

基因组学是未来精准医疗的“基石”。70%的基因企业选择使用云计算来处理基因组相关业务。过去一年内，阿里云为基因医学影像数据提供了安全可靠的存储，500%数据增长，增长迅猛。强大无限制的计算能力，阿里云支撑了百万以上的基因样本数据分析工作。

2. 基因行业的存储痛点和需求分析

2.1. 基因组学数据管理相对复杂

一家大型基因测序功能公司每日会产生 10TB 到 100TB 的下机数据，大数据生信分析平台需要达到 PB 级别的数据处理能力，这背后需要生物科技和计算机科技的双向支撑。测序应用从科研逐步走向临床应用，计算模式从离线向在线演进，交付效率越来越重要。多变的数据处理流程，以及大量的生物信息软件版本的管理，大量排队的数据处理任务，由于生物信息软件的运行特性CPU平均利用率仍然不足，难以无人职守的处理失败任务，成本居高不下等等问题存在于以下的现有的系统中，催生了生物信息行业对云计算和云原生技术的拥抱姿态，在成本，弹性，效率，规模也提出了更高要求。

从基因业务角度理解，基因行业的数据处理的主要需求是提升效率，降低成本。基因场景的数据传输要求高速、稳定。如下图所示，是基因业务的数据处理流程图。

典型的基因行业数据传输与交付场景如下：• 测序服务商海量数据上云，数据上云有多重途径，通过OSS工具、存储网关、闪电立方等。一般1PB数据离线迁移，最快1周上云。• 科技服务公司：企业客户数据交付。数据交付，通知杭州到上海，同账号的跨地域复制的数据交付，在线迁移服务，完成跨地域、跨账号交付。杭州传到全球访问，全球访问加速。杭州传到企业用户，基于阿里云ram子账号，企业客户自己账号系统的交付体系。• 样本数据保存进行高吞吐分析计算，对存储要求高吞吐、高IOPS，对计算资源要求弹性、横向扩展。• 科研院所分析结果实现全球数据分发快速，一般每天交付19TB数据，全球14个数据中心保障快速就近交付。• 分析结果长期保存归档，要求高性价比、高可靠性。

2.2. 典型的基因行业的数据存储痛点

1、数据存储：数据增长快，存储费用高，管理困难；长期保存数据可靠性难以保障；需要寻求低成本大数据量的数据压缩方式；元数据管理混乱，数据清理困难。

2、分发共享：海量数据需要快速、安全的分发到国内多地及海外；传统硬盘寄送方式周期长，可靠性低；多地中心数据需要共享访问。

3、计算分析：批量样本处理时间长，资源需求峰谷明显，难以规划；大规模样本的数据挖掘需要海量计算资源，本地集群难以满足；计算工作流流程迁移困难、线上线下调度困难、跨地域管理困难；线下弹性能力差，按需计算需求。

3、阿里云基因容器存储解决方案

阿里云上的基因行业的容器存储解决方案架构如下：

阿里云基因文件存储解决方案说明：

• 基于AGS/ACK工作流搭建极速、低成本、高精度的基因测序的容器计算环境，根据业务需求，按需弹性提供计算资源，解决业务高峰期排队问题的同时，提高资源利用率。

• 文件存储可以对接容器基因计算环境，满足基因测序的计算和数据共享需求：

• NAS为基因行业用户提供低时延、高 IOPS 的文件存储，用于基因数据分析中的共享存储，保存下机数据和组装后的数据，以及过程中的中间数据。

• NAS计算结果数据会同步到 OSS 存储，文件存储集成OSS 提供海量存储空间，同时通过冷数据归档存储，降低存储成本。保存测序仪下机数据和组装后数据以及分析结果数据，用于数据的分发、归档、交付。保证10000+用户同时上传、下载数据，提高数据交付效率。

阿里云整体解决方案在基因行业的优势：

• 生态闭环：70%的基因行业客户都在阿里云上，包括100%的测序工厂头部客户跟阿里云有高速专线，基因数据在阿里云上各个基因客户之间高速流动；

• 产品成熟：K8S、ACK、AGS、OSS、NAS等产品都已经商业化多年，在基因行业客户得到广泛使用。对比友商，我们的产品稳定，功能丰富，性价比高；

• 行业老兵：服务基因行业多年，深入理解客户的业务场景和痛点，针对性的解决了数据上云、数据分析、数据交付的问题，给客户提供端到端的解决方案；

• 全球化：借助阿里云全球基础设施以及跨境高速通道，帮助客户拓展海外业务。

阿里云文件存储解决方案在基因行业的优势：

• 扩展能力强：集群最大规模支持近万个节点，容量可达数十PB规模；便于基因海量数据的性能升级和容量扩展。

• 性能能力强：协助客户使用高性能文件存储；有力支撑基因业务增长带来的大容量和高性能需求；大大提高海量数据快速分发和基因计算分析效率。

• 更经济：通过阿里云文件存储服务构建基因测序高性能工作负载；没有一次性成本投入或冗长的采购周期，享受按需付费、更经济的基础设施资源。

• 灵活敏捷：阿里云高性能文件存储服务，与ACK等计算集群整合，支持集群直接挂载文件系统；多种产品选型：通用型NAS、CPFS公共云及CPFS一体机，满足不同基因用户性能、成本、多云部署需求；灵活售卖方式，资源弹性伸缩，按需购买；支持云下和云上整体解决架构，既提供线下固定资产输出方案，满足对数据存储管理和基因业务高性能的双重要求，也提供快速数据上云的方案。

• 数据生命周期管理：支持数据智能流转至低频节约成本；支持集成OSS，实现数据计算、分发、归档、交付的智能数据流转；智能数据冷热分层，同时满足基因快速高效计算和海量基因数据成本优化需求。阿里云文件存储解决方案用户收益：

• 敏捷，按需使用，弹性扩展• 超高性能存储提高基因计算的高性能和效率

• 数据冷热分层，降低成本

4、基因行业容器文件存储介绍

阿里云文件存储NAS为非结构化数据提供存储服务。随着云原生的快速发展，许多公司的容器化应用程序使用NAS存储数据，有些甚至存储PB级数据。阿里云在云原生布局上提供容器K8s服务（ACK）、弹性容器实例（ECI）、容器服务ACK/ASK，容器实例使用NAS文件系统作为持久化存储。容器存储离不开共享文件存储。通常，彼此共享数据的容器自然需要共享文件存储，长期运行的容器也可使用共享文件存储应对故障。阿里云文件存储同时满足容器应用场景对持久化存储弹性伸缩、灵活挂载、高性能的需求。此外，容器镜像的配置文件或初始加载数据存储可以在 NAS 文件存储上实现共享，在容器批量加载时实时读取，多 POD 间通过 NAS 共享持久化数据，在 POD 故障时可以进行故障切换。阿里云NAS是容器存储的自然选择，因为它是一种完全托管的服务，配置简单，添加或删除数据时自动扩展，和容器基础架构一样灵活便捷。它还可以扩展到每秒数GB的吞吐量以及每秒数万的IOPS。它基于 POSIX 文件接口，提供 NFS / SMB 协议，天然适配原生操作系统，提供共享访问，同时保证数据一致性和锁互斥。文件存储中的数据在可用区内以多副本冗余方式存储，避免数据的单点故障风险。

文件存储目前包括三款产品，分别是通用型NAS、极速型NAS和CPFS并行文件存储，为企业应用、大数据处理、小文件存储、高性能计算等场景提供全方位解决方案。了解更多阿里云文件存储

阿里云文件存储主要具备以下特性：无缝对接容器存储插件，简化的云原生体验：

文件存储基于POSIX/NFS/SMB文件接口，现有应用无需任何改造，可直接从本地磁盘平滑迁移至文件存储。针对容器编排，文件存储提供了CSI、Flexvolume存储插件，简化部署和使用，拥有完整的云原生体验。

共享持久化数据，故障灵活切换：

文件存储具备多节点共享访问能力，文件存储还可以在不同可用区（不支持跨地域）、不同VPC之间共享。多Pod间通过NAS共享持久化数据，在POD故障时可以进行故障切换。统一的名字空间，统一的管理方式。弹性文件系统无需扩容缩容，0-10PB完全按量。

高性能加速，在容器批量加载时实时读取：

文件存储基于分布式存储架构，具备性能水平扩展能力。提供不同类型、不同规格存储产品，充分满足各类应用的吞吐、延迟、IOPS和小文件等性能需求。文件存储支持us时延，数十GB吞吐，加速存储访问，提升应用性能，在容器批量加载时实时读取数据，支撑有状态应用、AI数据智能应用。

企业级应用特性，Pod存储安全可靠：

文件存储支持副本、纠删码技术，同时通过备份、快照提供完整的数据保护和恢复机制。支持传输、落盘加密，确保数据不会被任何人窃取和篡改。统一命名空间支持海量pod存储隔离和统一管理。

持久化数据生命周期管理，优化成本：

文件存储提供按量付费模式，您只需为正在使用的存储空间付费，不需要提前配置存储，并且不存在最低费用或设置费用。借助文件存储的共享能力可以节约大量的冗余数据拷贝和同步费用。数据生命周期管理，支持冷热分层，自动归档冷数据，降低成本90%。

本文作者：孟威

原文链接：https://developer.aliyun.com/article/768760?utm_content=g_1000161277

本文为阿里云原创内容，未经允许不得转载。

基因行业容器存储解决方案相关推荐

大容量存储方案_基因行业容器存储解决方案
简介: 基因行业容器存储解决方案 1.基因行业背景 1.1. 中国基因市场分析基因组学是未来精准医疗的"基石".70%的基因企业选择使用云计算来处理基因组相关业务.过去一年内,阿 ...
汽车制造行业工厂数据、互联数据和移动数据存储解决方案
释放智能工厂数据.无人驾驶汽车数据.互联数据和移动数据的无限潜能推动下一代汽车生产发展,打造移动服务生态系,全力迈向工业4.0时代全球数字化浪潮下,传统汽车行业生产模式.制造模式.服务模式,面临着 ...
联想凌拓芯片设计行业存储解决方案
1.芯片设计行业及存储从市场发展趋势来看,集成电路市场正在加速向中国迁移,市场格局加快调整,云计算.物联网.智能制造,大数据.VR.Pre 5G等新业态引发的产业变革刚刚兴起,新的商业模式不断产生会 ...
数字化转型“军舰”启航：详解华为云容器全新解决方案
进入2019年下半年,云原生计算已经得到了云计算行业和传统IT界的广泛认同.国际知名市场咨询机构Gartner在前不久发布的2019公有云服务趋势报告中指出,从传统工作负载上云开始,双模IT理论将引导 ...
赋能尖端科技推进智能布局 |《HPC高性能计算数据存储解决方案蓝皮书》正式发布
前言提到尖端科技,不免联想到人工智能.自动驾驶.量子计算机等,这些借电影大片走进大众的视野,如今却逐步实现新兴领域,科技飞速发展造就了如梦似幻"破次元壁"的相遇,促成每一次不真实 ...
AI部署从EonStor GSi存储解决方案开始
企业想要轻松的启动人工智能(AI)部署, Infortrend普安科技的EonStor GSi存储解决方案是一个不错的选择.用户通过GSi,提高业务运行的效率,乃至开拓新的业务模式.监控.运输.医疗. ...
基于YRCloudFile容器存储的WordPress HA部署方案
WordPress是一款非常流行的内容分享平台软件,官方刚刚庆祝了它的"大麦",全球1000万个流行网站中,有1/3选择了WordPress. 在本文中,给大家展示一下如何在K8S ...
Kubernetes容器存储：请选对的
根据2019年最新的Gartner的分析数据显示,到2022年,全球75%的企业将在生产环境中使用容器.而从2018年开始,在容器平台上运行的应用程序,已经有超过一半的是有状态应用,例如数据库等.对于 ...
这次我们又引领了潮流——容器存储双活
云原生应用在容器平台上可以实现快速部署,这是云原生应用的一大优势.相对于传统的虚拟化以虚拟机为单位的部署方式,虚拟机部署完成后还要进行业务的部署,而云原生以应用为单位,借助容器技术进行部署,部署完成后 ...

基因行业容器存储解决方案

1、基因行业背景

2. 基因行业的存储痛点和需求分析

3、阿里云基因容器存储解决方案

4、基因行业容器文件存储介绍

基因行业容器存储解决方案相关推荐

最新文章

热门文章