大数据时代的“找油利器”
能源行业迈入大数据时代
随着数据总量的持续增长和急速膨胀,大数据时代已经来临,石油、电力等能源细分行业纷纷拉开了大数据开发应用的序幕。如何从海量数据中高效获取信息,有效地深加工并最终得到有用数据是能源企业涉足大数据的目的。
对石油行业来说,众多企业正在把更多的新技术应用于战略决策、科技研发、生产经营和安全环保等各个领域,目的是为了从大数据资源中挖掘更多的财富和价值。大数据应用是石油行业信息化深入、IT与业务深度融合的必然趋势,在我国石油石化行业应用的前景将越来越广阔。随着石油储备的逐步减少,石油石化行业产业链中的勘探、开发难度日益增大, 信息化的成熟度已经成为影响行业增长幅度的首要因素。精准、快速的地质勘测成为世界能源巨头们倚重的核心竞争力之一,其中高性能计算技术和大数据技术的应用是关键因素。
油气勘探海量数据处理需要高性能计算
目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用现代物理方法进行地质勘探的方法,包括电法、磁法、重力法、放射性法、地震波法等,其中以地震波法最为重要。为了了解和模拟出地下数千米的地质构造,通过地震波反射方式来收集海量数据,一般二维数据可达1~2TB,三维数据可高达几百TB甚至PB级, 然后进行大量的密集计算和模拟,计算结果出来后还要转换成直观的可视画面,方便专家对数据进行解释,为油气钻井定位提供参考。因此,这些海量数据的处理只有借助高性能计算才能实现最佳的勘探效益,这也是在石油勘探领域高性能计算需求的主因。
由于石油勘探行业的特殊性和复杂性,石油勘探对高性能计算提出了非常苛刻的要求。过去十年中,石油勘探计算处理多采用大型机或高性能计算机,但目前高性能计算机系统在计算性能、系统建设与运行成本等方面已经面临着许多问题。让石油勘探企业感到颇为头痛的问题主要集中在三大困境:一是计算能力需求和CPU处理器性能落差越来越大,目前通过不断提高CPU处理器的工作频率来提高计算性能的技术路线已经逐步走向其极限;二是石油勘探高速增长的数据和存储扩容越来越不匹配;三是能耗制约越来越严重,高性能计算机的体积大、耗电多等弱点以及对庞大的计算机房空间需求、空调需求和用电量等已经成为石油勘探数据处理的一大挑战。
地震资料数据的大数据特征
BGP(中国石油集团东方地球物理公司)是中国石油天然气集团公司独资的地球物理专业化技术服务公司,主要从事陆地、浅海地震勘探采集、处理、解释及物探装备和软件研发,业务分布在全球34个国家,陆上地震勘探市场份额居全球第一位。现拥有2.6万员工,3000多IT人员和300多软件开发人员,在全球有23个处理中心,约9万CPU核和80万GPU核,运算能力约2PFlops,存储容量超过25PB。
中国石油集团东方地球物理公司研究院的总工程师赖能和先生曾在华为云计算大会2013上做了《大数据技术在石油勘探领域的应用》的主题演讲,对地震海量数据的采集与处理过程做了详细阐释。
石油勘探过程产生的大数据有自己独特的“4V”特征:
1、 数据海量:以BGP为例,每天会产生大于7TB的生产数据,在地震资料处理过程中还会产生大量的中间过程数据。
2、 数据来源单一:地震资料数据是由人工模拟地震波激发,由定点采集仪器接收和采集到的,数据来源和数据格式都比较单一。
3、 计算量大:以BGP为例,54TB的原始数据通过4000个CPU 的计算集群处理,需要50多天时间。
4、 处理流程复杂:地震资料处理过程涉及到频繁的IO和数据库,操作复杂。
地震数据的快速增长对于存储提出了巨大需求,也对传统的HPC软硬件架构提出了新的挑战。
华为石油勘探HPC解决方案实现高计算、大存储能力
针对石油行业的特点和需求,华为提出了石油勘探HPC解决方案,包含以下几个部分:
1、计算集群系统
计算节点和胖节点采用华为刀片服务器,提供强大的计算能力,特别是浮点计算能力,以完成地震资料处理中巨大的计算任务。
2、存储系统
存储部分采用华为OceanStor 9000大数据存储系统(简称OceanStor 9000)。
与传统的NFS和lustre方案不同,OceanStor 9000采用全对称分布式架构,每个节点都可以提供IO和存储单元,提供业务访问、数据处理和存储的能力,因此可以轻松完成节点扩容,实现系统性能和容量的线性扩展。
其全对称Scale-out架构,通过集群模式、自动负载均衡、全局缓存等技术来整合和管理系统资源,有效提升存储系统性能,缩短地震资料处理的作业周期。OceanStor 9000还具备高可靠性和硬件容错能力,保障作业正常运行。它还能提供灵活的组网方式,前后端网络均支持Infiniband或者10GE以太网高速互联,能有效满足石油勘探HPC场景的高带宽、低时延需求
3、网络互联
采用计算网络、存储网络和管理网络分离的方式。计算网络采用万兆以太网,承担并行计算时的数据通讯。管理网络采用千兆以太网,用于HPC集群系统的管理和监控。存储网络采用10GE以太网或40GE的Infiniband网络,为主机访问数据文件提供高速的网络互联。
大数据时代的“找油利器”相关推荐
- 数据脱敏平台-大数据时代的隐私保护利器
什么是数据脱敏 又称数据漂白.数据去隐私化或数据变形.是对核心业务数据中敏感的信息,进行变形.转换.混淆,使得对业务数据中的身份.组织等隐私敏感信息进行去除或掩盖,以保护数据能被合理.安全地利用. 数 ...
- 网站分析实战——如何以数据驱动决策,提升网站价值(大数据时代的分析利器)
网站分析实战--如何以数据驱动决策,提升网站价值(大数据时代的分析利器) 王彦平吴盛峰 编著 ISBN 978-7-121-19312-5 2013年1月出版 定价:59.00 316页 16开 编 ...
- 网站分析实战——如何以数据驱动决策,提升网站价值(大数据时代的分析利器)...
网站分析实战--如何以数据驱动决策,提升网站价值(大数据时代的分析利器) 王彦平吴盛峰 编著 ISBN 978-7-121-19312-5 2013年1月出版 定价:59.00 316页 16开 编 ...
- 企业关系网络分析,大数据时代淘金利器
企业关系网络的数据构成 在早期经济发展期间,企业间的业务来往普遍是通过企业经营者与个人的交情或交情的转移发生的,即企业强势关系网的形成大部分依托于个人的人际关系. 随着各种法制法规的建立以及信息透明化 ...
- 云小课|大数据时代的隐私利器-GaussDB(DWS)数据脱敏
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要: 数据仓库服务Ga ...
- 大数据时代如何使用数据分析来找女朋友?
最近新闻报道中国进入了第四次单身潮,单身人数达两亿,相当于俄罗斯和英国全部人口的总和,作为两亿分之一的你,是否压力山大?从前的日色变得慢,车,马,邮件都慢,一生只够爱一个人,但那是以前,如果你还习惯用 ...
- 网站分析实战--如何以数据驱动决策,提升网站价值(大数据时代的分析利器)...
<网站分析实战--如何以数据驱动决策,提升网站价值>(大数据时代的分析利器) 基本信息 作者: 王彦平 吴盛峰 出版社:电子工业出版社 ISBN:9787121193125 上架时间:20 ...
- Apache Kylin 大数据时代的OLAP利器
1. OLAP简介 OLAP的历史与基本概念 OLAP全称为在线联机分析应用,是一种对于多维数据分析查询的解决方案.典型的OLAP应用场景包括销售.市场.管理等商务报表,预算决算,经济报表等等. 最早 ...
- 巅峰对话:畅想大数据时代的车联网与智能汽车
ZD至顶网CIO与应用频道 01月20日 北京消息:2016年1月20日,数据猿作为独家全程直播与专访媒体,受邀参加"全球大数据峰会 Global Big Data Conference 简 ...
最新文章
- 一个完整的Installshield安装程序实例—艾泽拉斯之海洋女神出品(三) --高级设置一...
- ActiveMQ持久化消息的三种方式
- layui select 赋值_layui给下拉框及日期组件赋值
- js的规范写法ES5(自己以后按照这样写)
- 【渝粤题库】广东开放大学 社会保障法 形成性考核
- 天气数据获取接口和网址汇总
- 软件工程师安德烈·梅萨加冕 2021 世界小姐冠军
- 20200308: 生成每种字符都是奇数个的字符串灯泡开关 III(leetcode5352-5353)
- Java爬坑 -- 解决redis序列化java8 LocalDateTime错误的问题
- java mp4转码 h264_10分钟学会Jave视频转码avi--gt;mp4(h264编码格式)!_Java_七九推...
- Android开源项目及库汇总
- android面试题之四(红黑联盟)
- android 百度地图驾车导航,使用百度地图API实现驾车导航
- 【网络基础】通俗易懂的搞明白什么是IP地址(小白向)
- 都说程序员越老越“不值钱”,想避免未来也“被优化”,怎么办?
- 用力一瞥Android渲染机制-黄油计划
- Spring MVC详解(学习总结)
- JavaSE基础(134) 打印流
- (转)Unity十大插件
- 幸运岛链LKC:打造全新的商业和经济体系,让区块链赋能商业经济
热门文章
- python装饰器是什么意思_这个python 装饰器代码是什么意思?
- 两个listmap合并去重_我是如何用单机实现亿级规模题库去重的?
- 新版手机浏览器_新版《野性的呼唤》IGN仅3分 烂番茄72% M站54分
- python文字识别算法_Python图像处理之图片文字识别(OCR)
- 【AI白身境】学深度学习你不得不知的爬虫基础​​​​​​​
- MNA-CNN: 如何在美学质量评估中储存照片原始信息
- 全球与中国重型离合器市场运营状况分析与“十四五”发展规划建议2021年版
- 引用程序集没有强名称解决办法
- 《微机原理及接口技术》第03章在线测试
- 在VS2010 里面包含进全局的include目录和lib目录