大数据分析平台的作用有什么
大数据分析平台的主要目标是为大数据技术研发和应用项目实施提供高效完备的开发与运行环境。为此,大数据分析平台的总体功能包括以下主要方面:
(1)云计算环境:整个平台基于云计算环境,主要包括:云存储、云资源调度与管理、云计算编程模型、云计算执行引擎等核心功能,支持对海量数据的存储、处理、建模、分析、展现等全过程的分布式并行化开发与运行;
(2)面向SaaS服务的开放式体系架构:整个平台采用开放式体系架构,支持插件式开发与集成,提供底层核心功能的API调用接口,为第三方开发提供高可扩展的平台环境,基于平台开发的应用可以SaaS服务形式提供给用户使用;
(3)多源异构数据集成:平台提供丰富的数据集成接口,支持与传统的关系型数据库产品以及互联网、物联网应用系统的数据采集接口的无缝集成,便于将多源异构数据导入到平台数据存储系统;
(4)海量数据云存储管理:提供PB级结构化和非结构化数据云存储与管理,支持高效的数据查询、索引、提取等基本数据集操作;
(5)高效数据ETL处理:提供分布式并行的ETL处理工具,全面支持数据质量问题处理;
(6)基于WEB的分析建模:提供基于WEB方式和基于工作流的数据挖掘建模系统,便于建模分析人员随时随地在线编辑和提交分析模型;
(7)离线分析与在线分析:提供以Hadoop为基础的离线分析环境和以Spark为基础的在线分析环境,满足不同应用场景下对数据分析响应效率的需求;
(8)知识库:平台提供算法库、模型库与案例库,支持用户将数据挖掘算法、分析模型及应用案例进行编辑和重用,不断积累成为用户知识库;
(9)可视化报表系统:平台提供可视化分析与报表系统,用户通过可视化分析工具、可视化引擎、报表模板等功能开展交互式可视化数据分析。
集成了上述核心功能的大数据分析平台,一方面可以有效支持科研工作者开展算法研究、模型设计、系统优化等探索性研发工作,并快速将研发成果集成到平台中,不断提升平台的技术先进性;另一方面可以有效支持企业级大数据应用系统的运营,以及第三方应用开发与扩展,促进行业应用解决方案不断成熟与完善。
大数据分析平台的作用有什么相关推荐
- 大数据分析平台在企业运营中的作用
在整个信息化的方向上,有三大趋势:云计算.大数据和物联网.在这些趋势下,大数据处于大脑的位置,主要负责将数据收集和处理成信息,甚至变成知识,最后通过物联网技术反馈给现实世界,不断产生更多的价值. 如今 ...
- 阿里大数据分析与应用(part3)--常用的大数据分析平台
学习笔记,仅供参考,有错必纠 文章目录 常用的大数据分析平台 什么是大数据分析平台 基于Hadoop的大数据分析平台 阿里云大数据平台 典型阿里云大数据平台架构 MaxCompute MaxCompu ...
- canoco5冗余分析步骤_打造高性能的大数据分析平台
大数据时代,大数据的应用与挖掘,大数据的分析和决策,大数据在经济社会的运行轨道上发挥着愈来愈重要的作用.对于大数据分析,现在好多互联网金融公司和传统的商业银行.证券基金公司都非常看重.个个都想在大数据 ...
- 大数据分析平台具备怎样的功能
人工智能产品的层出不穷,更多的大数据分析智能工具引进到人们眼前,信息化的世界悄然而来,为您带来大数据挖掘分析平台让您的工作效率提升!那么大数据分析平台具备怎样的功能? 一.它必须容纳海量数据 如果大数 ...
- 大数据分析平台搭建方式有哪些
随着大数据时代的到来,数据价值的概念逐渐深入人心,许多企业开始搭建自己的大数据分析平台,以便在数据洪流中把握行业未来的发展方向.做任何事情之前,首先要设定目标和思路,然后根据确定的目标.思路和实际情况 ...
- 大数据分析平台有哪些主要功能
销售报表.市场调研.盈利分析--随着信息量的不断丰富,相信各大企业已经为各种业务需求存储了大量的数据,数据的规模可能达到数GB或者数TB.随着网络科技的不断发展,这些信息量可能还会达到数PB.EB甚至 ...
- 大数据分析平台的功能
在数字时代,您选择的大数据分析平台必须满足非常广泛的需求.中琛魔方总结了大数据分析平台必须提供的4大功能,满足您对当前及未来的需求,提高您的竞争地位,实现卓越的业务成果. 一.它必须容纳海量数据 如果 ...
- 结构化大数据分析平台设计
前言 任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等.有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付 ...
- 基于Hadoop和Spark体系的大数据分析平台构建
谢谢分享! 转载:http://www.sohu.com/a/249271561_481409 随着大数据.人工智能等技术的快速发展,企业对大数据平台的需求越来越强烈,通过大数据分析技术为企业提供经营 ...
最新文章
- 机电传动控制课程第一周学习笔记
- Mysql数据唯一约束与唯一索引案例总结及踩坑记(含NULL值与唯一约束唯一索引的搭配使用)
- D:\我的文档\收藏夹
- python从基础到入门电子书_零基础如何学好python?一本python从入门到实践电子书籍赠送...
- 2017蓝桥杯省赛---java---C---7 Excel地址)
- jdk7默认gc算法_JDK 7的算法和数据结构
- Oracle列直方图的问题隐患
- 7649:我家的门牌号
- idea maven工程显示灰色(不亮)
- ip复原Java_Java实现 LeetCode 93 复原IP地址
- x61 linux 驱动 无线网卡,联想ThinkPad X61无线网卡驱动
- 计算机机房的消防验收,机房建设(消防)解决方案
- 推荐这几个数据大屏可视化开发工具
- HTML5期末大作业:美食网站设计——餐饮美食-咖啡(5页) HTML5网页设计成品_学生DW静态食品网页设计_web课程设计网页制作
- 悼念王选:伟大发明家和失意企业家间的孤独者
- 设备巡检维修报备小程序开发制作功能介绍
- STA X(X为主存地址)指令发出的微操作命令
- MyBatis常见问题
- 如何做AI开源项目?零基础到100star
- 谈谈 Ops(一):我的运维经历