清华大学海洋大数据分析管理平台解读
清华大学海洋大数据分析管理平台
一、平台架构
总体来说，海洋大数据的硬软件平台架构可分为三个层面:数据层、技术层和应用层(见图2)。数据层是海洋大数据平台的基础，包括各类海洋数据采集平台的数据，如地、天、空、海岸、船、油气平台、水下移动等观测到的海洋遥感数据、物理数据、生物数据、化学数据等;经过数据预处理技术，将多源异构的海洋大数据进行统一模式的组织和管理。技术层包括多源异构海洋大数据的融合、分析、挖掘、预报、可视化等技术，并对相关技术进行集成和云平台开发，实现海洋数据的个性化检索，并对海洋要素进行精准预报。应用层是在数据检索和技术集成的基础上，对海洋应用模块集中整合，建设综合、开放的海洋应用服务管理系统(见图3)，为科学研究和行业应用提供数据共享、信息处理、决策支持、业务化运行等服务。
二、各层次平台分析
数据获取平台:数据采集是整个海洋大数据平台建设的起始端。利用海洋通信技术和互联网技术，开展包括天基(卫星、航空飞机、无人机等)遥感、近海测绘、海洋浮标、海洋科考、水下探测等在内的数据采集。由于海洋大数据具有多源异构的特点，因此需要对数据进行预处理，如数据“清洗”，为后续流程提供统一高质量的数据集。
存储与计算平台:获取的数据通过无线或有限网络传输至基于云计算的基础平台，采用云存储、虚拟化网络、虚拟主机服务以及云平台对海洋大数据进行存储和管理。其核心技术包括分布式文件存储以及分布式计算。例如，由Apache基金会所开发的分布式系统基础架构Hadoop ,其最核心的设计是分布式文件系统(HadoopDistributed File System，HDFS)和MapReduce;HDFS为海量数据提供存储，MapReduce则为海量数据提供计算。分布式文件存储典型代表有Hadoop的HDFS+HBas。文件存储方案、谷歌的GFS+BigTable文件存储方案等。
分析与应用平台:数据分析是海洋大数据处理的核心流程，利用分析方法或工具对数据进行检查、变换和建模，从中提取数据潜在价值。数据分析技术包括分类、聚类、关联规则、遗传算法、神经网络、预测模型、模式识别、时间序列分析、回归分析、系统仿真、机器学习、优化、空间分析、社会网络分析等。通过对数据的实时分析和处理，应用于海洋防灾减灾、海洋环境监测、海洋渔情预报等领域。
信息可视化平台:通过建立海洋数据的分析和应用模型，实现海洋要素、海洋过程、海洋预报的多维、动态、可视化表达，为海洋科学研究和行业内应用提供信息可视化服务。
决策与发布平台:基于以上平台系统，通过网络计算机、智能手机APP等灵活、机动的客户端方式，为海洋领域相关单位和个人提供快速实时的决策支持服务，包括海洋信息咨询、海洋污染监测预警、海洋渔场监测、海洋维权指挥等。
此外，目前也函需开发“海洋+’’的海洋大数据行业应用，通过建立技术转移平台和产业孵化平台，在海洋技术、海洋预报、海洋经济等相关领域提供海洋大数据信息服务和决策支持服务。
三、常见的大数据平台示例
清华大学海洋大数据分析管理平台解读相关推荐
- 161页6万字智慧房地产大数据分析系统平台整体解决方案
1.1. 智慧房地产大数据分析系统平台产品理念 智慧房地产大数据分析系统平台的产品"集成管理.随需应变"的产品理理念. 集成管理:通过对人员.信息.流程三大集成的系统,实现了集团内 ...
- 油气勘探生产储运安全-人工智能大数据分析决策平台
油气勘探生产储运安全 人工智能大数据分析决策平台 定制化数据接口 人工智能大数据分析 云端交流决策平台 端到端工业解决方案 应用领域 油藏管理 勘探评估 钻井完井 工程设备 无人机巡检 水驱油田无效循 ...
- 大数据分析决策平台问题总结
1 |大数据分析决策平台(南阳市IT大赛二等奖作品) 2 Ø开发时间:2017/10 – 2017/12 3 Ø主要算法:SVM算法 + 皮尔森相关系数 + 支持向量机分类算法 + 迭代学习 4 Ø项 ...
- 初探百度大数据分析挖掘平台Jarvis
在人工功能时代,企业既想通过大数据分析.挖掘技术提升效率,又被大数据量分析.机器学习挖掘等相关技术门槛阻扰,需要一款数据分析挖掘产品跨越这个鸿沟.Jarvis在这个背景下应运而生.Jarvis是支撑大 ...
- 智多星大数据分析云平台实践
2014年10月,江苏银行夏平董事长确立了利用 ** 大数据 ** 实现弯道超车的发展战略,将 ** 大数据 ** 应用提升到全行发展的战略层面.2015年上半年,江苏银行完成了 大数据平台 选型和建 ...
- 电子商务中的大数据分析——数据平台和人工智能
作者 | Ayn de Jesus 编译 | CDA数据分析师 数字原生电子商务企业习惯于帮助处理其客户提供的数据,以便为营销活动编写副本,运行PPC广告,计算客户生命周期价值以及基于CRM仪表板内 ...
- 搭建一个大数据分析处理平台，主要划分为哪几步？
(1)操作系统的选择操作系统一般使用开源版的RedHat.Centos或者Debian作为底层的构建平台,要根据大数据平台所要搭建的数据分析工具可以支持的系统,正确的选择操作系统的版本. (2)搭建H ...
- 大华管理平台用户名_智能财务引领商业与管理变革——浙大EMBA首席财务官研习社走进大华股份...
杭商传媒记者 周 珂/文 徐青青/摄 编辑 何影丹 当前经济环境和市场需求瞬息万变,企业竞争日益激烈,盈利持续下降,产品.服务同质化严重,这不仅对业务部门提出了挑战,也对传统的财务管理产生了巨 ...
- 司南智图:一站式大数据分析可视化平台
先来个地址: http://gde.geo-compass.com 司南智图遵从"开放.融合.创新.共赢"的建设理念,紧密结合"大数据.互联网+"技术,提供&q ...
最新文章
- 你哪来这么多事（六）：职工信息查找
- NetBeans 时事通讯（刊号 # 57 - May 27, 2009）
- 复旦教授发现400+安卓漏洞，最严重可使手机变砖，谷“鸽”16个月后才修复
- python数据分析的主要流程-python数据挖掘的基本流程有哪些？
- python算不算编程_Python 并不适合职场编程
- 守护进程和inetd(转)
- SAP Commerce Cloud 导入消费OCC API需要使用的credentials
- HashMap底层实现原理/HashMap与HashTable区别/HashMap与HashSet区别
- 安卓Java虚拟机大小_虚拟机为安卓流畅度背锅，是因为关系数十万程序员饭碗？...
- 工具类TestTools
- java工厂模式demo
- 电脑开机进入setup的四种界面介绍
- 头条推荐越来越少是否还要坚持下去
- Windows中 配置DHCP服务器
- 第三周学习总结和心得
- ubuntu鼠标指针替换
- 数据加工（一）-------数据抽取
- Squared Error 数学
- 第三篇：读《今日简史》
- SpringBoot 整合 Elasticsearch