高性能计算在石油物探中的应用现状与前景

赵改善

（中国石化石油物探技术研究院，江苏南京210014）

摘  要：石油勘探尤其是石油地球物理勘探（简称石油物探），一直是高性能计算技术的传统和主要应用领域。高性能计算技术的发展在很大程度上引领和制约了地球物理技术发展的轨迹与进程。过去的十年，集群计算机系统成为石油物探数据处理的主流系统架构，但目前集群计算机系统在计算性能、系统建设与运行成本、运行管理与维护等方面都面临着许多问题，不能适应石油物探技术发展与应用的需要。从目前技术发展趋势来看，异构并行计算系统将成为下一个十年的主要发展方向。地震成像处理仍然是石油物探中对高性能计算需求最大的技术，地震成像算法及其在各种并行计算系统中的实现是我们长期的研究内容。如何快速有效地开发基于大规模异构并行计算系统的石油物探软件是我们当前面临的最大难题，培养适应新架构的并行计算软件开发人才和构建简单、易用、高效的软件开发环境与工具，是解决这一难题的两条重要途径。

关键词：高性能计算，石油物探，地震勘探，偏移，异构并行

1  石油物探是高性能计算的重要应用领域

1.1  高性能计算在石油物探中的重要地位

石油勘探尤其是石油地球物理勘探（简称石油物探），一直是高性能计算技术的传统和主要应用领域。随着人类对于油气资源需求的不断提高，油气勘探工作面临的勘探对象不断复杂化，勘探条件日趋恶劣，从而导致对石油地球物理勘探技术的研究与应用不断深化。地球物理技术的发展与应用高度依赖于包括高性能计算技术在内的信息技术的发展，从而导致高性能计算技术在地球物理行业的应用不断发展，应用规模与领域不断扩大，技术与产品不断升级。我们可以说：高性能计算技术的发展在一定程度上引领和制约了地球物理技术发展的轨迹与进程。

1.2  石油物探高性能计算的发展历程

地球物理技术发展历史与计算技术发展历史是不可分割的。计算技术在石油物探中的应用起始于二十世纪六十年代，但大规模的应用开始于二十世纪八十年代。

王宏琳教授总结了过去40年间地球物理计算的发展历程，认为其中经历了四次重大变革，即[1]：

（1）20世纪70年代以主机加数据处理机（阵列机）为主要特征；

（2）20世纪80年代属于向量计算机时代；

（3）20世纪90年代是以工作站和并行计算机（主要为SMP和MPP系统）为主流；

（4）21世纪的这最初十年则是集群计算机系统一统天下。

进入21世纪以后，集群计算技术得到了飞速发展，从而带来了地震数据处理系统平台的又一次更新换代，集群计算机系统基本上成为目前地震数据处理的唯一主流平台。近十年来，集群计算机系统的配置规模不断扩大，大型地震数据处理中心的集群系统规模已经达到上千个甚至上万个节点，计算能力普遍从百亿次级规模提高到目前的数十万至上百万亿次规模。计算能力的提高，为地震勘探新技术（如地震叠前时间偏移和叠前深度偏移）的广泛应用打下了良好的基础，提高了地震资料处理的质量，大大缩短了处理周期，为油气勘探开发工业发展提供了坚实的技术支撑。

当前我们则面临着又一次的重大变革，下一个十年将是异构并行计算机系统架构广泛应用的十年。

2  石油物探对高性能计算的持续需求

2.1  石油物探技术发展现状

随着勘探目标和勘探条件的日趋复杂化，油气勘探开发对地球物理勘探技术提出了越来越高的要求。需求推动了地球物理技术的发展，而高性能计算技术的发展对地球物理技术的发展则起到了一定的拉动作用。

对于石油勘探开发技术发展而言，从整体上表现出如下几个特点：地震成像技术广泛应用，油藏描述技术水平不断提高，地球物理技术应用从勘探走向开发，水平井-丛式井技术广泛应用，智能井-智能油藏技术的发展，集成油藏管理技术进步及工作模式，交互勘探或实时勘探技术的提出等。

对于地震勘探而言，技术发展表现出以下几个主要特征：从叠后到叠前，从时间域到深度域，从单分量到多分量，从声波到弹性波，从构造成像到岩性反演、储层特征描述，从单一技术应用到多技术综合，从勘探到开发及勘探开发的一体化，数据量和计算量成指数增加等等。

目前，由于地震采集技术与装备水平的提高，万道以上地震仪得到广泛应用，高密度单点地震技术以及以此为基础的高精度或高分辨率地震勘探技术将成为未来一段时间内地震勘探技术发展的主流。从地震数据处理方面来看，叠前时间偏移已经成为标准化处理流程中的一个常规处理内容，波动方程叠前深度偏移将更加广泛应用，逆时偏移技术将逐渐成为主流技术。综合利用多分量地震勘探信息的弹性反演技术将成为由地震数据转换为地层、油藏信息的主要工具，但有效反演技术的研究开发和巨大计算量的需求仍然是我们未来一段时间面临的重大挑战。

2.2  叠前成像对高性能计算的需求

叠前偏移技术是近十余年来地震勘探数据处理技术发展的一大亮点。在构造复杂、地震速度横向剧烈变化的区域，如盐丘、逆掩断层带、古潜山等，叠后偏移方法一般会造成成像位置不准确，甚至出现虚假构造。于是，人们纷纷把目光转向叠前偏移成像，特别是基于深度域速度模型的叠前深度偏移成像。叠前深度偏移成像克服了水平叠加速度不准确引起的误差，使得地震成像精度大大提高。

地震偏移成像问题始终是地球物理工作者关注的焦点。自上个世纪70年代初至今，波动方程偏移经历了发展－停滞－再发展的阶段。到了20世纪90年代，随着计算技术的飞跃发展，以及克希霍夫叠前深度偏移技术在墨西哥湾的成功应用，再次把偏移技术推向了发展高峰。进入21世纪，波动方程叠前深度偏移技术得到了较快的发展，并借助于高性能集群计算技术的发展在实际生产中得到了广泛的应用[2]。

随着大规模集群计算机系统的应用，叠前时间偏移技术的应用已经成为常规化；叠前深度偏移由基于射线的克希霍夫积分算法向波动方程算法发展；深度域叠前属性分析技术和各向异性介质叠前偏移技术将成为下一个发展方向。

另外，随着计算技术的发展，在基于单程波波动方程算法的地震成像技术得到广泛应用的同时，基于双程波波动方程算法（逆时偏移）的地震成像技术成为了当前的研究热点，有望在成像效果上得到进一步提高，但由此带来的计算量提高了一个数量级至数十倍，见图1和图2。

图1 地震成像算法相对计算性能需求

图2 单程波动方程偏移(左)与逆时偏移(右)效果比较

除了地震偏移成像，地震波场正演模拟计算也对高性能计算具有很高的要求。中国石化石油物探技术研究院于2008年配置了一套包括1800多个处理器核、峰值性能达19TFLOPS的集群计算机系统，专门用于地震波场正演模拟计算与分析、地震成像技术研究与软件开发。2009年我院技术人员在该系统上完成了一个三维模型的高密度地震数据的模拟计算，为高密度单点地震技术发展与地震成像技术研究提供了难得的试验数据，有力支撑了石油物探技术的发展，充分展示了高性能计算技术对地球物理技术发展的重要支撑作用。

2.3  石油物探对高性能计算需求的预测

2003年作者根据石油物探（主要是地震勘探）技术发展和勘探需求的分析，对地震勘探数据量与数据处理计算量进行了定量预测，从而对我们到底需要多大的计算机进行了大胆的分析和预测。基本结论如下[3]：

（1）石油勘探地震数据采集的具体技术参数依赖于工区的地表条件、地下地质情况的复杂性、勘探目标、采集技术水平和经费预算等条件。典型地震勘探项目的数据量在当时（2003年）一般为100~1000GB，预计2005、2010、2015年将分别达到1-2TB、20-50TB、100-200TB，详见表1。

（2）以波动方程叠前深度偏移处理计算量为主要测算依据，预计典型地震勘探项目的数据处理计算量将在2005、2010、2015年分别达到1x1020、5x1021、3x1022次浮点运算，详见表2。

（3）在相当长一段时间的未来，为适应油气勘探开发精度的要求，地震勘探将采用5m的空间采样密度和三分量技术，而地震勘探项目的数据量将达到PB(1000TB即1015字节)级规模，计算量将达到1023（即100ZFlops）级规模。

（4）综合考虑需求、技术和成本等因素，预计地震勘探高性能计算系统的发展速度不会低于每5年提高10倍，其计算能力将分别于2005、2010、2015年达到10、100、1000TFlops规模，以满足1+TB、10+TB、100+TB数量级规模地震数据处理的性能要求。

六年过去了，发展现实基本证实了作者的预测，只是由于采样率仍然为1ms（而不是预测的0.5ms）使得目前实际数据量为预测的一半左右。

表1  典型地震勘探数据规模预测一览表

表2  地震数据处理计算量预测一览表(浮点运算次数)

3  石油物探对高性能计算技术的挑战

3.1  石油物探高性能计算技术应用现状

石油物探尤其是石油地震勘探一直是石油勘探中计算机应用最广泛、最深入的领域。基本上全球所有油气公司、地球物理服务公司、石油地球物理研究机构都建立了专门的计算中心（可能采用计算中心、地震数据处理中心、地震处理解释中心等名称），专业从事地震勘探数据的处理与分析工作。目前，各计算中心广泛采用集群计算机系统作为地震数据处理的主流系统，并且采用高性能图形工作站和虚拟现实系统进行数据的分析解释、勘探开发决策与设计。

据了解，国外两大主要地球物理服务公司WesternGeco和CGG地震数据处理中心配置的集群计算机系统的CPU（核）数达到10万或接近10万，形成了强大的地震资料处理能力，尤其是地震叠前偏移成像处理能力。

国内中国石油和中国石化各油田和研究机构、技术服务公司也建立有大型地震资料处理解释中心，计算性能规模从数十万亿次到数百万亿次不等，其中中国石油的东方地球物理服务公司的高性能计算能力已经达到近300万亿次。

从世界超级计算500强和国内超级计算100强的统计资料也可以大致看到石油物探高性能计算的应用概况。

在2009年11月1日发布的中国超级计算100强中，地球物理应用达到20套，占据了较大的份额，而在2008年的排行榜中更占有35席。

在2009年6月29日发布的全球超级计算500强中，地球物理应用占有43套。多年来地球物理一直在高性能计算中占有较重要的地位，见表3。

表3  世界超级计算500强地球物理应用情况

3.2  石油物探高性能计算技术面临的挑战

石油物探中高性能计算技术应用面临着巨大的挑战，概括起来包括以下几个方面：

（1）石油物探技术的发展对于高性能计算的需求是无止境的，石油工业已经难以以理想的性能价格比获得足以满足石油勘探技术发展需求的计算性能。在进一步提高计算性能、降低系统建设与运行维护成本等方面，信息产业与石油工业共同面临着一系列的挑战。

（2）当前，集群已经成为高性能计算的主流体系架构。为了提高集群计算机系统的计算能力，主要采取不断增加计算节点和提高节点性能两条途径。传统上通过不断提高处理器工作频率来提高节点性能的技术已经逐步走向其极限，同时也大大提高了系统的维护与运行成本。系统节点规模的不断增大，一方面大大提高了系统建设、运行、维护、管理及应用软件开发的复杂性，另一方面在提高系统总体性能方面也越来越受到较大的制约。

（3）近年来，随着高端计算评价指标从高性能转向高效能，以集群技术为主流的高端计算系统体系架构受到了越来越多的质疑，体积大、耗电多、编程难、效率低是其致命的弱点。庞大的计算机房空间需求、日益上升的机房空调需求和机房用电量和日趋复杂的系统管理和维护工作，已经成为石油物探数据处理中心面临的巨大挑战。

（4）随着集群计算机系统规模的不断增大，系统网络以及系统I/O逐渐成为瓶颈问题，如何有效以高性能价格比协调配置高性能计算能力和存储能力，均衡提供高计算性能、高存储容量和高数据吞吐能力，以满足地震成像处理、地震正演模拟计算等多种类型计算任务的技术要求，是我们需要解决的一个难题。

（5）基于大规模并行计算系统尤其是异构并行计算系统开发石油物探数据处理软件是一件困难的任务，开发效率低，而且难以取得理想的运行效率。

4  石油物探高性能计算技术与应用展望

4.1  石油物探中高性能计算技术发展展望

面临上述挑战，寻找高性能计算技术发展的新道路和新方向成为我们当前需要关注的一项重要任务。微电子技术、网络技术、软件技术的快速发展，为高性能计算技术跃上新的台阶奠定了基础，指明了方向。

我们相信，未来一段时间内石油物探高性能计算技术的发展将呈现如下特征[4~9]：

（1）长期以来，计算性能的提高主要得益于微处理器工作频率的提高，莫尔定律主宰着信息技术发展的步伐。然而，主频的提高带来的系统发热问题日趋突出，系统功耗不断上升。因此，近年来CPU技术的发展采取了新的思路，主频提高的步伐放慢甚至停止，而提高处理器并行处理能力逐步成为主要技术思路。为了保证微处理器芯片性能的持续提高，更重要的是为了降低芯片功耗和复杂性，目前主流的商用CPU设计已全面采用多线程多核体系结构，双核和四核已成为CPU的主流产品，六核和八核CPU产品也已经大规模批量生产，预计处理器核的持续增加（称为众核处理器）将成为未来一段时间CPU技术发展的主要特征。

（2）集群在近期仍然还是高性能计算的主流产品。在2009年中国超级计算100强中，共有96个系统是集群（2008年为92个），这说明集群继续占据主导地位。在榜单前10名里有9台是4核机群，8台是刀片系统，说明4核刀片系统已经成为高性能计算新系统的主要产品类型。

（3）在传统CPU由单核向多核（众核）发展的技术路线以外，当前活跃着几条新的技术路线，它们可能代表着未来高性能计算技术发展的重要方向与趋势。一个重要方向是基于FPGA（现场可编程门阵列）的可重构计算技术[6]，另一个重要方向是基于GPU的通用计算技术即GPGPU技术[7~9]。

（4）基于FPGA（现场可编程门阵列）的可重构计算技术兼具了软件系统的灵活性、可升级性与硬件系统的高性能与并行性等优点，在提供高性能计算能力的同时具有低能耗的优势。部分研究者在基于FPGA的可重构计算系统上开展了地震波场模拟计算与地震叠前时间偏移处理的应用研究，试验表明：可重构计算技术可以大幅度地提高地球物理计算的性能（一个数量级以上），性能价格比也将有5~10倍的提高。试验结果使得可重构计算技术在地球物理中的应用呈现出诱人的潜力。但是，可重构计算系统下的应用程序开发仍然是制约可重构计算技术广泛应用的主要瓶颈，正是由于这一障碍使得该技术的应用研究近年来逐步消失。

（5）充分利用GPU并行处理能力，可以将GPU作为计算加速器为基于CPU的通用计算平台提供高性能的科学计算能力补充，这样可以在现有通用计算平台的基础上实现高性能价格比的高性能计算解决方案。GPU计算技术与产品已经发展到一定的成熟阶段，GPU计算产品已达到很高的性能（1U的机架服务器可以提供4TFlops的计算能力）和较高的性能价格比，相应的软件开发环境（CUDA与OpenCL）也已经推出，从而使得GPU计算平台上的应用软件开发比可重构计算平台上的应用软件开发要容易得多，这一点使得GPU计算技术将可以更早地广泛应用于地球物理领域。地球物理计算的特点，决定了GPU计算在未来地球物理计算中将发挥越来越重要的作用，而推动这一工作进程的关键是软件的开发与移植工作。GPU计算技术的研究与应用得到了地震勘探研究人员的特别关注，目前已经取得了一定的进展。如国内中科院地质与地球物理研究所、中国石化南京石油物探研究所分别利用CUDA开发工具在GPU计算环境下实现了Kirchhoff三维地震叠前时间偏移和二维波动方程地震叠前深度偏移，使得GPU计算技术在石油物探中的应用向前推进了一大步[8~9]。

（6）综观当前高性能计算技术的发展现状，我们认为以CPU+GPGPU混合加速为特征的异构并行计算系统将成为未来十年高性能计算的主流产品。无论是国际上还是国内，代表当前最高计算水平的千万亿次计算机系统都是采用了这种异构并行计算系统架构。如何构建异构并行计算系统上的多层次并行计算软件开发框架和编程工具，促进大规模并行计算应用软件的开发与移植，是实现异构并行计算系统大规模普及应用的关键。

4.2  石油物探中高性能计算技术应用展望

从石油物探中高性能计算技术应用的角度来看，未来的发展将呈现出以下特征：

（1）地震成像仍然在相当长一段时间内占据着石油物探高性能计算的大部分计算能力，而且会随着成像算法的提高（如逆时偏移、各向异性介质、弹性波场偏移等）以及地震勘探采集数据密度的提高，计算能力需求呈指数式增长。

（2）地震波场正演模拟计算、叠前弹性反演、油藏属性建模与动态模拟的应用规模将不断扩大，高性能计算需求将不断增大，逐步成为石油物探高性能计算的重要应用领域。这些应用具有与地震偏移成像不同的技术特征，对计算能力与数据吞吐能力具有不一样的应用需求，对于系统的配置应具有一定的差异。

（3）随着网格计算和云计算技术的逐步成熟，基于计算网格、计算云、存储云提供地震数据处理与分析服务，可能会成为石油行业一种新的商业运行模式。

（4）石油物探高性能计算系统（单系统峰值计算能力）的规模可能将于2011年达到千万亿次量级。

5  结束语

社会经济发展对于油气资源的需求对石油物探技术发展提出了新的要求，依靠信息技术的支撑推动石油物探技术发展是我们面临的任务与挑战，其中高性能计算技术在其中具有举足轻重的作用。

石油勘探开发对于地震勘探精度和准确性需求的不断提高，导致地震勘探数据量与计算量呈指数式增长。这一方面对高性能计算技术呈现出持续而强劲的需求，为高性能计算产业提供了一个长期稳定的市场；另一方面高性能计算技术的发展能否以较优的性能价格比提供满足需求的产品，仍然是我们面临的挑战，高性能计算技术可能成为石油物探技术发展的制约因素。

过去十年中，集群计算机系统成为石油物探数据处理的主流甚至是唯一系统架构类型。目前，集群计算机系统在计算性能、系统建设与运行成本等方面已经面临着许多问题，不能适应石油物探技术发展与应用的需要。从技术发展趋势来看，异构并行计算系统将成为下一个十年的主要发展方向。

地震成像处理仍然是石油物探中对高性能计算需求最重要的技术，因此地震成像算法及其在各种并行计算系统中的实现是我们需要开展持续不断研究的重要内容。

如何快速有效地开发基于大规模异构并行计算系统的石油物探软件是我们当前面临的最大难题。培养大批适应新架构的并行计算软件开发人才和开发简单、易用的软件开发环境与工具，是解决这一难题的两条重要途径。

参  考  文  献

[1]  王宏琳．地球物理计算机的变革[J]．勘探地球物理进展，2009，32（4）：233~238

[2]  赵改善、包红林．集群计算技术及其在石油工业中的应用[J]．石油物探，2001，40（3）：118~126

[3]  赵改善．我们需要多大和多快的计算机[J]．勘探地球物理进展，2004，27（1）：22~28

[4]  赵改善、李剑峰、王于静等．网格计算技术及其在石油勘探开发中的应用前景[J]．石油物探，2005，44（5）：413~420

[5]  李卫东，赵改善，韦海亮等．网格计算技术在石油勘探开发中的应用[J]．微电子学与计算机，2006，23（增刊）：196~198

[6]  赵改善．可重构计算技术及其在地球物理中的应用前景[J]．勘探地球物理进展，2007，30（4）：309~316

[7]  赵改善．地球物理高性能计算的新选择：GPU计算技术[J]．勘探地球物理进展，2007，30（5）：399~404

[8]  张兵，赵改善，黄骏等．地震叠前深度偏移在CUDA平台上的实现[J]．勘探地球物理进展，2008，31（6）：427~432

[9]  李博，刘国峰，刘洪．地震叠前时间偏移的一种图形处理器提速实现方法[J]．地球物理学报，2009，52（1）：34~39