点击上方蓝字关注我们

高性能计算环境是支撑国家科技创新、经济发展的核心基础设施。目前国家高性能计算环境的总计算能力已突破200 PFlops,总存储容量超过160 PB。但是各节点广域分散,计算与存储资源难以统筹使用。本专题从虚拟数据空间系统构建、分布式系统高效缓存、国家高性能计算环境对虚拟数据空间的运行支撑以及面向非易失内存的MPI-IO接口优化等多个角度出发,探索了构建高性能计算虚拟数据空间的过程中面临的机遇和挑战以及相应的解决方案,希望能够引起广大读者的兴趣,并起到抛砖引玉的作用。

秦广军等人撰写的《面向国家高性能计算环境的虚拟数据空间系统》建立了一套可用于构建广域全局虚拟数据空间的完整技术体系,并研发了一个可运行于国家高性能计算环境的虚拟数据空间软件系统。该系统在国家高性能计算环境中进行了实验性部署,通过3类典型大型应用的验证结果表明,该系统可有效地聚合广域分散存储资源,满足大型应用的数据空间需求。

肖利民等人撰写的《GVDS:面向广域高性能计算环境的虚拟数据空间》提出了虚拟数据空间构建方法及数据访问性能优化方法,并实现了一个面向广域高性能计算环境的全局虚拟数据空间GVDS。测试结果表明,与当时最优的面向广域高性能计算环境的存储系统相比,GVDS在实现了相当功能的同时,数据访问性能明显提升。

杨青霖等人撰写的《分布式存储系统中的数据高效缓存方法》针对典型分布式存储系统存在的写放大、I/O路径过长、响应时延较高等问题,提出了一种基于SSD的分布式存储系统中的数据高效缓存方法。该方法采用读写旁路和懒惰缓存的缓存管理策略、兼顾最近访问时间和历史访问频率的缓存替换策略,并自适应地调整主动回刷脏数据的速率,从而显著提升了存储系统的读写性能。

牛北方等人撰写的《国家高性能计算环境的虚拟数据空间运行支撑技术研究》研究了国家高性能环境节点部署技术。该技术通过模块化方式将虚拟数据空间系统与国家高性能计算环境进行深度融合,将其功能补充到国家高性能计算环境中,并通过统一的虚实空间用户管理框架,实现跨域统一、透明安全的存储服务和对大型计算应用的支撑。

邓镇龙等人撰写的《面向非易失内存的MPI-IO接口优化》针对非易失内存对MPI-IO接口进行了优化,从分布式缓存、持久性元数据以及进程间数据传输策略三方面着手,使应用可以被有效管理,利用非易失内存设备保持缓存数据的一致性。实验结果证明,优化后的接口为应用带来了数十倍的读写性能提升。

由于篇幅有限,本专题无法涵盖高性能计算虚拟数据空间建设的各个核心方法和关键技术,希望本专题收录的研究和探索能够引起学术界和工业界的关注,共同推动国家高性能计算环境的完善和发展。

作者简介

张广艳(1976-),男,博士,清华大学计算机系长聘副教授、博士生导师,主要从事大数据存储与分析的理论和方法研究,包括大数据计算、存储系统与分布式处理等方面。研究得到了国家杰出青年科学基金项目、国家重点研发计划项目、国家973项目和国家863项目等的支持。近年来提出了大规模存储系统构建及访问的方法与关键技术,有效提高了存储系统的性能、扩展性和可用性。发表学术论文40余篇,其中在FAST、USENIXATC、ACMTOS、IEEETC、IEEETPDS等计算机系统领域高水平国际会议和期刊发表论文20余篇。近五年以第一发明人获得美国发明专利授权1项、中国发明专利授权7项。

大数据期刊

《大数据(Big Data Research,BDR)》双月刊是由中华人民共和国工业和信息化部主管,人民邮电出版社主办,中国计算机学会大数据专家委员会学术指导,北京信通传媒有限责任公司出版的期刊,已成功入选中文科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技期刊,并被评为2018年国家哲学社会科学文献中心学术期刊数据库“综合性人文社会科学”学科最受欢迎期刊。

关注《大数据》期刊微信公众号,获取更多内容

专题导读:高性能计算虚拟数据空间相关推荐

  1. 广域虚拟数据空间中边缘缓存系统的研究与实现

    点击上方蓝字关注我们 广域虚拟数据空间中边缘缓存系统的研究与实现 霍建同1,2, 肖利民1,2, 霍志胜1,2, 徐耀文1,2 1 软件开发环境国家重点实验室,北京 100191 2 北京航空航天大学 ...

  2. 国家高性能计算环境的虚拟数据空间运行支撑技术研究

    点击上方蓝字关注我们 国家高性能计算环境的虚拟数据空间运行支撑技术研究 何小雨1,2, 邓笋根1, 栾海晶1,2, 牛北方1,2 1 中国科学院计算机网络信息中心,北京 100190 2 中国科学院大 ...

  3. GVDS:面向广域高性能计算环境的虚拟数据空间

    点击上方蓝字关注我们 GVDS:面向广域高性能计算环境的虚拟数据空间 肖利民1,2, 宋尧1,2, 秦广军3, 周汉杰1,2, 王超波1,2, 韦冰1,2, 魏巍4, 霍志胜1,2 1 北京航空航天大 ...

  4. 专题导读:大数据隐私保护

    专题导读:大数据隐私保护 在大数据时代,数据的开放共享是发 掘大数据中蕴含的巨大价值以及推动大数 据发展的必要途径.然而,大数据中往往包 含用户的大量敏感信息,一旦开放这些数 据,会导致严重的个人隐私 ...

  5. 专题导读:大数据整理

    专题导读:大数据整理 在大数据时代,数据呈现多源.异构. 信息不一致.信息不完整等特点,这会造 成数据不完整.数据质量较低的问题.数 据整理(包括数据发现.数据准备.数据 清洗.数据融合等)旨在整合多 ...

  6. 专题导读:政府治理大数据

    专题导读:政府治理大数据 十九届四中全会明确指出要推进国家治理体系和治理能力现代化.利用大数据手段提升政府治理能力是一条重要的途径,正在全国范围内开展的"最多跑一次"行政服务改革实 ...

  7. 专题导读:面向大数据处理的数据流计算技术

    点击上方蓝字关注我们 专题导读:面向大数据处理的数据流计算技术 数据流(data flow)是麻省理工学院(MIT)的Jack B.Dennis教授在20世纪70年代提出的一种计算机体系架构,这在当时 ...

  8. 专题导读:数据资产化探索

    点击上方蓝字关注我们 专题导读:数据资产化探索 理查德•彼得斯于1974年就提出数据资产名词了,但至今数据资产仍然无法计入会计报表,说明数据资产化的难度非常大.这也妨害了数据的流通和再生产.随着大数据 ...

  9. 专题导读:学术大数据

    专题导读:学术大数据 学术大数据是指由具有学术行业特征的多元实体及其之间的多样化关系构成的数据集合.其中,实体可以包括学者.机构.论文.学科等对象,而实体间的关系则可以体现为合作.引用.研究兴趣.领域 ...

最新文章

  1. 如何下python 的pⅰl_[Ubuntu] 如何在 Lubuntu 安装 python-spidermonkey
  2. 【转载】xmind的使用安装方法
  3. generator自动生成mybatis的xml配置
  4. 大数据聚类分析用于预测_多模态数据中的非负矩阵分解用于分割和标签预测
  5. Ambari实现HTTPS登陆
  6. 数据结构之二叉树的物理结构(存储结构)
  7. c语言汇率转换代码_原生JS实现汇率转换功能代码实例
  8. Banner实现图片轮播
  9. 计算机体系结构--进制及其运算
  10. AE插件:能量激光描边光效特效Saber Mac
  11. 来自菜鸟的逆袭,闭关修炼一个月,出关后成功拿下阿里,蚂蚁金服,美团三个大厂意向书!
  12. Linux内核中的IPSEC实现2
  13. 7-191 百钱百鸡
  14. 交付实施工程师是做什么的?
  15. 眼睛好看是一种什么样的体验?
  16. ETF基金定投数据分析1——数据收集
  17. 液晶显示器出现雪花现象
  18. 应急响应——Windows日志分析
  19. List集合特有功能
  20. 用Exchange 2000开发企业办公自动化系统

热门文章

  1. java 0xaarrggbb 转换_RRGGBBAA或者RRGGBB转换成rgba()
  2. 前端面试题(重点整理):谈谈你对web标准和W3c的认识、什么是ECMA、什么是html、浏览器和开发工具介绍
  3. 测试必备:单元测试测试类,以帮助匿名管理调查的类为例详解--白盒测试
  4. Python字典(Dictionary)的setdefault()方法的详解,字典中的赋值技巧
  5. React 点击按钮显示div与隐藏div
  6. egret中loadingUI的自定义
  7. Servlet的学习之Request请求对象(2)
  8. 在Windows中为文件添加“可执行”权限(chmod +x 文件名 不起作用)
  9. 斐波那契数列(二)--矩阵优化算法
  10. linux命令——init 的使用用法