点击上方蓝字关注我们

广域存储和计算协同面临哪些挑战，具有哪些优势？

基于虚拟数据空间的存算协同调度系统优化了广域环境中的全局资源利用，支持海量数据跨域存储管理与高效处理，可有效提高存储资源的访问效率，实现存储与计算的协同调度。

北京航空航天大学的肖利民教授所在团队基于GVDS系统研究了存储与计算协同调度策略，并实现了一个存算协同调度系统。该系统综合考虑数据布局、存算资源状态、容量限制等多方面因素，可合理选择任务和数据的优化调度策略，实现在广域范围内高效的计算任务分配和数据布局，提高了环境资源利用率，也提升了应用计算效率。该研究以“面向大数据处理应用的广域存算协同调度系统”为题发表在《大数据》2021年第5期。

01

广域存储和计算协同面临哪些挑战？

当前，国内外纷纷投入大量资源建立跨多超级计算中心的广域高性能计算环境，旨在提供规模更大、性能更强的数据处理平台，以支撑科学发现和科技创新。然而高效地利用广域高性能计算环境支撑大数据的存储管理以及高效处理仍然面临如下挑战：（1）如何形成全局数据空间，进而支持广域分散数据的存储、管理、传输、访问的统一管理；（2）如何实现广域环境中数据与计算任务的协同调度，以优化多中心存储与计算资源的利用，支撑海量数据的跨中心高效处理。海量数据的跨域高效处理需要高效的存算协同调度技术。

02

计算协同调度策略具有哪些优势？

针对上述问题，作者所在团队提出了3种调度策略（存算协同调度策略、负载均衡调度策略、数据局部性调度策略）存储与计算协同调度策略。这3种策略都能较好地匹配数据与计算作业。与单点运行策略相比，存算协同调度策略的完成时间降低了47.46%~79.24%，负载均衡调度策略的完成时间降低了25.48%~74.58%，数据局部性调度策略的完成时间最高降低了63.08%。存算协同调度策略可以通过合理的任务与数据调度，优化多中心存储与计算资源的利用，既避免了计算资源成为系统的瓶颈，又避免了大量数据的迁移开销，使得任务完成时间最短。

03

存算协同调度系统在哪里成功应用？

作者所在团队存算协同调度系统已在5个国家级超级计算中心上成功部署，并通过开展分子对接应用和跨域目标协同识别应用，验证了系统的有效性和高效性。分子对接应用基于存算协同调度系统运行的效率达到了传统运行模式的3.07倍，跨域目标协同识别应用运行的效率达到了传统运行模式的4.03倍。这表明存算协同调度系统可以统一管理广域环境中的存算资源，将计算任务及数据进行合理的分配及存算协同调度，优化广域环境中的存算资源利用，支持大数据的存储管理与高效分析处理。

更多技术细节请阅读原文：http://www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021050

联系我们:

Tel:010-81055448

010-81055490

010-81055534

E-mail:bdr@bjxintong.com.cn

http://www.infocomm-journal.com/bdr

http://www.j-bigdataresearch.com.cn/

转载、合作：010-81055537

大数据期刊

《大数据（Big Data Research，BDR）》双月刊是由中华人民共和国工业和信息化部主管，人民邮电出版社主办，中国计算机学会大数据专家委员会学术指导，北京信通传媒有限责任公司出版的期刊，已成功入选中国科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊，并被评为2018年、2019年国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。

关注《大数据》期刊微信公众号，获取更多内容