大数据基础(一)——关系+文章
一、DB、ETL、DW、OLAP、DM、BI关系结构图
转载自:http://www.cnblogs.com/ycdx2001/p/4538750.html
(1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db。
(2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,都拍一张照片,天天这样,这些照片放入到一个相册中,之后就可以查看每一天的状态了,这个相册就是数据仓库,他保存的是数据在不同时间点的状态,对同一个数据信息,保留不同时间点的状态,就便于我们做统计分析了。
(3)ETL/Extraction-Transformation-Loading——用于完成DB到DW的数据转存,它将DB中的某一个时间点的状态,“抽取”出来,根据DW的存储模型要求,“转换”一下数据格式,然后再“加载”到DW的一个过程,这里需要强调的是,DB的模型是ER模型,遵从范式化设计原则,而DW的数据模型是雪花型结构或者星型结构,用的是面向主题,面向问题的设计思路,所以DB和DW的模型结构不同,需要进行转换。
(4)OLAP——在线分析系统,简单说就是报表系统,销售报表,统计报表,等等,这个大家都熟悉,当然,OLAP的统计要更复杂更丰富一些,比如切面,钻取等等。
(5)DM/Data Mining/数据挖掘——这个挖掘,不是简单的统计了,他是根据概率论的或者其他的统计学原理,将DW中的大数据量进行分析,找出我们不能直观发现的规律,比如,如果我们每天早上照相,量身材的时候,还记录下头一天吃的东西,黄瓜,猪腿,烤鸭,以及心情,如果记录上10年,形成了3650天的相貌和饮食心情的数据,我们每个人都记录,有20万人记录了,那么,我们也许通过这些记录,可以分析出,身材相貌和饮食的客观规律;再说一个典型的实例,就是英国的超市,在积累了大量数据之后,对数据分析挖掘之后,得到了一个规律:将小孩的尿布和啤酒放在一起,销量会更好——业务专家在得到该结论之后,仔细分析,知道了原因,因为英国男人喜欢看足球的多,老婆把小孩介绍男人看管,小孩尿尿需要尿布,而男人看足球喜欢喝酒,所以两样商品有密切的关系,放在一起销售会更好!
(6)BI/Business Intelligence/商业智能——领导,决策者,在获取了OLAP的统计信息,和DM得到的科学规律之后,对生产进行适当的调整,比如,命令超市人员将啤酒喝尿布放在一起销售,这就反作用于DB修改存货数据了——这就是整个BI的作用!
信息技术经过近20年的大力发展,很多行业积累了很多珍贵的数据,真正的大数据时代到来了,也逐渐体现出 DB-ETL-DW-OLAP-DM-BI这条线路的重要性,希望大家能懂得这个大数据时代的价值,把握住机遇,有更加美好的未来!
二、大数据相关推荐文章
数据仓库的价值:
http://webdataanalysis.net/web-data-warehouse/value-of-data-warehouse/
数据仓库的基本构架:
http://webdataanalysis.net/web-data-warehouse/data-warehouse-frame/
数据仓库的源数据类型:
http://webdataanalysis.net/web-data-warehouse/data-warehouse-source-data/
数据仓库的多维数据模型:
http://webdataanalysis.net/web-data-warehouse/multidimensional-data-model/
数据立方体-维度与OLAP:
http://www.cnblogs.com/mq0036/p/4155832.html
DB、ETL、DW、OLAP、DM、BI关系结构图:
http://www.cnblogs.com/ycdx2001/p/4538750.html
ODS与DW的关系
http://blog.csdn.net/hero_hegang/article/details/8691912
http://blog.sina.com.cn/s/blog_54c021fb01017v3k.html //这篇文章很好。推荐。
数据仓库之ETL漫谈
http://blog.csdn.net/heqiyu34/article/details/8502198
Linux下JDK安装
http://blog.csdn.net/ubuntu64fan/article/details/8289335
ETL的一些概念
http://qsx1982-126-com.iteye.com/blog/1135590
事实表和维度表的关系
http://blog.csdn.net/rogerxi/article/details/3966782
浅谈ThreadPool线程池
http://www.cnblogs.com/xugang/archive/2010/04/20/1716042.html
http://www.cnblogs.com/xiaofengfeng/archive/2012/12/21/2828387.html
对MapReduce过程的理解
http://blog.csdn.net/yeruby/article/details/21406793
使用Storm实时大数据分析
http://blog.csdn.net/hguisu/article/details/8454368
Hive与HBase区别
http://www.cnblogs.com/quchunhui/p/5340989.html
大数据基础(一)——关系+文章相关推荐
- 大数据基础入门 ------文章来源于:某个入门课程
文章目录 第一课:大数据基础入门 什么是大数据? java和大数据的关系 学习大数据需要的基础和路线 第二课:Hadoop的背景起源 一 分布式存储 如何解决大数据的存储?(HDFS) 第三课: ha ...
- 机器学习、数据挖掘、人工智能和其他大数据基础技术,之间的业务逻辑关系?
不管是学习技术还是开发产品,分析和理解这个大数据产业版图都十分必要.版图细节不做赘述,我们重点从学习的角度来看DT(Datatechnology)技术泛型下包括那些核心技术,各技术领域之间是什么样的逻 ...
- 大数据基础--学好大数据必看的文章
大数据的项目流程 数据生产 数据采集 数据存储 需求分析 数据预处理 数据计算 数据存储 8.结果展现 大数据基础知识 目录 什么是服务器? 什么是RAID? 什么是集群? 什么是网络? 什么是交换机 ...
- hawk大数据基础知识总结(1)
一.大数据概述 1.1大数据的概念 大数据一共具有三个特征:(1)全样而非抽样:(2)效率而非精确:(3)相关而非因果. (1)在过去由于缺乏获取全体样本的手段,人们发明了"随机调研数据&q ...
- 大数据基础——Hadoop大数据平台搭建
文章目录 前言 Hadoop大数据平台搭建 一.Hadoop原理和功能介绍 二.Hadoop安装部署 三.Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
- 二, 大数据基础架构Hadoop-HDFS入门和基本操作(基本组成, Shell操作, API操作, 读写流程) hf
一, HDFS概述 1.1 HDFS的产生背景和定义 随着数据量越来越大,我们需要把文件分布存储到多台计算机上,分布式文件管理系统作为一种管理多台机器上文件的系统应运而生, HDFS是其中的一种. H ...
- 大数据基础知识(上)
大数据基础知识:技巧与概念 什么是大数据 数量多 流转快 种类多 大数据需要具备全部三个特征吗? 如何使用大数据 了解消费者大数据 了解企业大数据 了解科学研究大数据 大数据与数据科学 大数据与小数据 ...
- 大数据基础知识全集,大数据爱好者收藏必备
目前,市场上的大数据产品太多,但远远低于IAAS的标准化水平,各产品之间的差异还不十分清楚.当许多公司正在制造大数据平台或大数据解决方案时,他们往往不知道选择哪些产品来满足他们的需求 ...
- 大数据基础之Hadoop(三)—— MapReduce
作者:duktig 博客:https://duktig.cn (文章首发) 优秀还努力.愿你付出甘之如饴,所得归于欢喜. 本篇文章源码参看:https://github.com/duktig666/b ...
- 【大数据】AI、IoT、区块链这些技术与大数据融合,大数据基础软件干货不容错过
作者:刘学习 | 小编:阿软 在IT产业发展中,包括CPU.操作系统在内的基础软硬件地位独特,不但让美国赢得了产业发展的先机,成就了产业巨头,而且因为技术.标准和生态形成的壁垒,主宰了整个产业的发展 ...
最新文章
- 基于MVC4+EasyUI的Web开发框架经验总结(8)--实现Office文档的预览
- 在QT中结构体快速从二进制文件中读取数据
- 【知识发现】隐语义模型LFM算法python实现(三)
- 如果只看一篇文章弄懂Pfile与spfile,那么这篇就够了……
- 判断是否获取到手机相机权限
- Mac(OS X)使用brew安装软件
- Java学习笔记-正则表达式的模式匹配
- Linux基础(1)--Vim编辑器的常用命令
- HashMap由浅入深(jdk8)
- ipython是一个交互式计算系统_IPython :一个交互式计算和开发环境-Python
- 首先不谈C语言,我们先来谈谈编程工具
- 这位勇士,你别去读博了:搞机器学习要PhD何用?
- oracle增加表字段_史上最详细的oracle 中的CR块介绍--一致性读
- 元宇宙价值链解读:元宇宙现实体系映射对未来的影响
- 关于领域驱动设计(DDD)中聚合设计的一些思考
- 指定服务器不存在或访问被拒绝访问,SQL Server不存在或访问被拒绝怎么办
- ClickHouse技术分享第二弹(英文讲义)
- linux (ubuntu)安装包安装sublime
- HP LoadRunner
- 学校教材订购系统课程设计