大数据开发之数据仓库
概念
数据仓库：Data warehouse 数仓 DW ,用于存储，分析，报告的数据系统；目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持
面向分析
- 数据仓库本身不产生任务的数据，其数据来源于各个不同的外部系统
- 数据仓库也不需要任务外部数据，只是把收集好的数据整理好，在提供给外部使用
数仓和OLTP区别
在面对大量数据的时候，我们很多时候也会使用OLTP 型数据库
在大多数的OLTP ，是面向业务的，支持事务，对于大量数据的分析还是有很大的压力；
还有就是，大多数不同的业务系统数据存储在不同的数据库和表中，字段类型还不一致，关联处理比较麻烦；
数仓特点
面向主题：比较抽象的一个概念，可以理解为一个纬度，一个业务模块归类后的数据上的抽象
集成性：一个主题的数据，可能是发布在不同的应用系统中，各个系统独立存储，数据分散，需要综合的集成到数据仓库中来；
非易失性：拉取其他系统的数据，分析数据，不创造新的数据
时变性：数仓的数据需要随着时间更新，适应决策需要
数仓开发语言
数仓前面也说到了，主要是为了分析数据，只要你这个语言可以读取数据，处理数据，就可以作为数仓的开发语言；
比如说是C,Java ,Python 都可以作为数仓开发的语言，主要是学习成本的问题，说到学习成本，SQL语言应该是相对比较简单的了，所以现在数据分析领域的主要开发语言就是SQL;
像是后面介绍的HIVE 就是把我们编写的SQL 转变成Map Reduce任务 跑在Hadoop 集群上来处理大数据查询分析；
在Hadoop 集群上来处理大数据查询分析；
大数据开发之数据仓库相关推荐
- 大数据开发：数据仓库建模方法与模型
大数据平台当中的数据仓库,往往需要通过建模来更好地对数据进行存储和管理,这其中涉及到性能.成本.效率.质量等多方面的综合考量,对于工程师来说,也需要细细规划.今天的大数据开发分享,我们主要来讲讲数据仓 ...
- 大数据开发实战：数据仓库技术
1.OLTP和OLAP OLTP的全称是 Online Transaction Processing, OLTP主要用传统的关系型数据库来进行事务处理.OLTP最核心的需求是单条记录的高效快速处理,索 ...
- 阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界
一.前言 上文我讲到 阿里云-数据仓库-数据分析开发神器-ODPS ,今天我带领大家一起走进神器的成长环境及它的数据世界. 二. DataWorks是什么 DataWorks基于MaxCompute. ...
- 大数据开发教程——企业级离线数据仓库项目实战开发
数据仓库 数据仓库简介 数据仓库,英文名称为 Data Warehouse,可简写为 DW 或 DWH. 数据仓库,是为企业所有级别的决 策制定过程,提供所有类型数据支持的战略集合.它是单个数据存储, ...
- 数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
- 数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？...
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
- 大数据开发笔记（四）：Hive数据仓库
✨大数据开发笔记推荐: 大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识,包括不限于hdfs.yarn.mapreduce.hi ...
- 贝壳一站式大数据开发平台实践
分享嘉宾:仰宗强 编辑整理:刘春龙 出品平台:DataFunTalk 导读:本次分享嘉宾是来自贝壳大数据部门的仰宗强,详细介绍了针对贝壳的业务数据与需求的增长,逐步升级数据开发平台的探索实践过程,包括 ...
- 腾讯云发布全链路数据开发平台WeData，大数据开发迈入新时代
9月11日,在腾讯全球数字生态大会大数据专场上,腾讯云重磅发布了全链路数据开发平台WeData,同时发布和升级了流计算服务.云数据仓库.ES.企业画像等6款核心产品,进一步优化和提升了腾讯云大数据的全 ...
- hive 行转列和列转行的方法_读离线和实时大数据开发实战，为你揭开 Hive 优化实践的神秘面纱...
前言 「1024,1GB,一级棒!程序仔们节日快乐!」 ❝ 指尖流动的 1024 行代码,到底是什么? ❞ ❝ 是10行的迷茫?是101行的叛逆?是202行的理性思考?是307行对渴望的冲动?还是40 ...
最新文章
- javascript引擎执行的过程的理解--执行阶段
- +h eclipse中ctrl_Eclipse 常用的快捷键都有哪些？
- telnet服务下载 Linux,linux telnet服务安装包
- 【数据库系统】笛卡尔积与自然连接
- Linux 之父家断电六天：内核更新延期；华为 EMUI 11 用户突破1亿；美国得州最大电力公司申请破产 | 极客头条...
- 阿群笔记：CentOS7 在线安装 docker 的推荐方法
- 【渝粤题库】陕西师范大学210007 幼儿园音乐教育 作业（高起专）
- 机器学习：神经网络实现中的技巧
- linux编译 __stdcall,Linux下的stdcall 约定格式
- matlab中画三瓣花瓣,如何绘制漂亮的“花瓣”韦恩图?
- 《这本书能让你睡得好》 阅读笔记与思考
- con排插与单片机相连_单片机与8255芯片连接详解
- uniapp的项目，scss和js实现跑马灯
- PS 色调——颜色运算
- JAVA中如何实现代码优化（技巧讲解）
- 基于局部平面拟合的法向估计
- 机器学习 贝叶斯方法_机器学习中的常客与贝叶斯方法
- 首席新媒体运营黎想教程：增长黑客思维下的用户增长
- RxJava 2.0中backpressure(背压)概念的理解
- 易订宝 移动营销网络订货平台