数据仓库、数据湖、湖仓一体概念

1、数据仓库

数据仓库(Data Warehouse)是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用于支持管理决策和信息的全局共享。其主要功能是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。

数据仓库中的信息是按照决策者所关心的重点方面进行组织，如社保缴纳、社保支出等，数据仓库中的数据不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。数据仓库可以记录过去某一时点到当前各个阶段的信息。

2、数据湖

数据湖（Data Lake）是一个存储各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输，数据湖是以其自然格式存储的数据的系统或存储库，通常是对象blob或文件，数据湖通常是企业所有数据的单一存储，包括源系统数据的原始副本，以及用于报告、可视化、分析和机器学习等任务的转换数据。数据湖可以包括来自关系数据库（行和列）的结构化数据，半结构化数据（CSV，日志，XML，JSON），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像，音频，视频）。通常使用Hadoop集群部署实现。

3、湖仓一体

湖仓一体主要提供一个统一的、可共享的数据底座，避免传统的数据湖、数据仓库之间的数据移动，将原始数据、加工清洗数据、模型化数据，共同存储于一体化的“湖仓”中，既能面向业务实现高并发、精准化、高性能的历史数据、实时数据的查询服务，又能承载分析报表、批处理、数据挖掘等分析型业务。湖仓一体可以打破数据湖与数据仓库割裂的体系，实现数据数据湖+数据仓库的闭环，既可以保持数据的灵活性、多样性，又能够实现数据分析，提高数据应用的效率。

数据仓库，数据湖，湖仓一体

数据仓库、数据湖、湖仓一体概念相关推荐

重磅｜阿里云发布“一站式敏捷数据仓库解决方案” 实现库仓一体数据分析能力（内含干货PPT下载）
简介:阿里云重磅发布一站式敏捷数据仓库解决方案.该方案结合一站式数据管理平台DMS及云原生数据仓库AnalyticDB(以下简称ADB),真正实现了库仓一体的技术架构,提供在线数据实时入仓.T+1周期 ...
网易湖仓一体的探索与实践
1 背景介绍数据分析从上世纪 80 年代兴起以来,大体经历了企业数仓(EDW).数据湖(Data Lake).以及现在的云原生数仓.湖仓一体等过程. 企业数仓是数据仓库最原始的版本,主要用于企业内部 ...
人柱力和佩恩六道，谁才是湖仓一体的终极形态？
很多小伙伴一直搞不懂什么是湖仓一体,查阅很多资料得到的都是基于不同厂商的产品和方案介绍,而非清晰的概念与行业共识,所以笔者特别策划了一篇湖仓一体的比较分析,通过<火影忍者>中两个重要角色的 ...
技术专家太玄：企业数字化转型中数据底座“湖仓一体化”l 华坤道威专访
随着大数据领域的迅速发展和普惠化,数据建设越来越受到企业的高度关注,而"湖仓一体化"也成为数据建设中重要的组成部分,越来越多企业把"湖仓一体化"视为数字变革的重 ...
华为云FusionInsight湖仓一体解决方案的前世今生
摘要:华为云发布新一代智能数据湖华为云FusionInsight时再次提到了湖仓一体理念,那我们就来看看湖仓一体的前世今生. 伴随5G.大数据.AI.IoT的飞速发展,数据呈现大规模.多样性的极速增长 ...
数据湖 VS 数据仓库之争？阿里提出大数据架构新概念：湖仓一体
作者 |关涛.李睿博.孙莉莉.张良模.贾扬清(from 阿里云智能计算平台) 黄波.金玉梅.于茜.刘子正(from 新浪微博机器学习研发部) 编者按随着近几年数据湖概念的兴起,业界对于数据仓库和数据 ...
如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践
简介: MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速.全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户 ...
湖仓一体：数据湖vs数据仓库之争？
本文介绍数据仓库和数据湖的区别是什么,作者对其来龙去脉进行深入剖析,来阐述两者融合演进的新方向--湖仓一体. 导读:随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断.有人说 ...
数据湖与数据仓库的新未来：阿里提出湖仓一体架构
点击上方 "zhisheng"关注, 星标或置顶一起成长 Flink 从入门到精通系列文章作者: 关涛.李睿博.孙莉莉.张良模.贾扬清 (from 阿里云智能计算平台) 黄波. ...

数据仓库、数据湖、湖仓一体概念

数据仓库、数据湖、湖仓一体概念相关推荐

最新文章

热门文章