面试!什么是数据仓库?
小A以前是一名数据仓库工程师,有一天收到了一个仓库管理员的职位邀请……
by小B
数据库
说到数据库,我们一般是指传统的关系型数据库,也就是“联机事务处理”(OLTP),主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过),到后来的互联网电商用的MySql,这些都是关系型数据库。
后来有了newSQL、NoSQL(not only sql),现在也分了很多种类,比如大型互联网公司存储用户画像的HBase,还有用于存储文档,日志,问答等内容的文档数据库MongoDB,建议大家都去了解一下。
关系型数据库,大多都有主键这个概念。比如我可以通过手机号(主键)来查询用户都存储的什么信息。
数据仓库
数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
数据仓库汇总有可能有很多维度数据的统计分析结果,取百家之长(各个数据源的数据),成就自己的一方天地(规划各种业务域的模型,指标)。
举个栗子~
车联网早期是肯定没有数据仓库的,刚开始启动阶段就是车上发送什么数据我就存储什么数据,比如出现告警,就实时展示出来给用户。
慢慢的车多了,传统的关系型数据库已经受不了压力了,就需要我们升级架构,多个服务器,多个业务库。这个阶段的业务指标还可以勉强从业务数据库里查询。
随着业务的发展,数据爆发式增长,公司的大神越来越多。和其他部门的联系也越来越紧密,业务的同事知道有这个好工具,也行用一下。负责电池的王老师来了说,我想知道现在咱们车辆的充电情况分布和天气是否有关系。程序猿小A说,“好的,但是需要等一个月我把天气数据爬下来,在把充电数据跑一下,然后再汇总一下就好了”。王老师默默的走了,再也没有来找过小A。
慢慢越来越多的王老师来了,发现我们都无法及时解决问题。公司的CIO就要求我们想办法了。这时候【数据仓库】来了,我们把各种渠道收集的数据提前做好模型(初级数据汇总)。分各个业务主题,很多个表。比如电池就有一个主题了。这次小A主动联系王老师,表达了可以提供各种服务(在繁杂的SQL苦中作乐)。
参考书籍《数据仓库工具箱》
后来越来越多的王老师来找小A,包括其他部门的程序小姐姐。小A不想被一群小姐姐再烦了,于是设计了"数据中台"
参考
之前文章《浅谈数据中台》
总结
说了这些数据仓库有什么过过人之处,第一提高生产力,第二,多源关系数据管理。数据仓库不是一个组件(技术),更像是一种方法论。
为什么前两年大数据环境下,数据仓库概念火了。其一,以前做过传统电信行业数据仓库的先行者,没有及时布道(毕竟之前没有微信这种好工具)。其二,互联网行业的兴起,数据量暴增,需求场景更明确了。其三,技术和方法论都是靠传播的,技术人的宣传,加上阿里出版的一些书籍(大数据之路)对此专业都推动巨大。
建议数据处理人员(表哥表姐们)都学习相关理论,建议数据分析师,算法工程师了解。
面试!什么是数据仓库?相关推荐
- 面试问题准备-数据仓库建模篇
1. 什么叫数据仓库?数据仓库的特点? (相信inmon的数据仓库概念的四个特点是最基本的吧,当然需要加上自己的理解) 首先,用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库: 其次, ...
- 数据仓库高级工程师 字节跳动面试
本人面试的是 数据仓库高级工程师–推荐系统,从官网投的校招,2020年底最后一天发的简历,元旦假三天,四号早上来了通知 以下是面试题,希望有帮助 1.自我介绍 挑重点,与面试职位无关的经历不要说,除非 ...
- 关于本博客数据仓库方面的原创文章汇总
<!-- [endif]--> 关于数据仓库方面的文章汇总 我的数据仓库之路! 关于数据仓库维度处理的系列文章 1 关于数据仓库维度数据处理的方法探究系列-- 维的概述 2 关于数据仓库维 ...
- 招银网络科技笔试面试
昨晚收到招银的面试通知,面试岗位:数据仓库.这两天准备下笔试.面试,网上搜了些资料,记录在这里: 一.上图所示数据库开发答案解析如下: --建表---------------------------- ...
- 1024程序员节,一份精华合辑送给你
点击蓝色"有关SQL"关注我哟 加个"星标",天天与10000人一起快乐成长 写在前面 今天,10月24日. 对于程序员来说,这天意义非凡.我的公众号,提供了一 ...
- 数据仓库工程师面试经验(2019)
所有面试的前奏: 先简要的介绍一下自己! 这句话基本上是所有面试官问的第一个问题,这个问题我的应对策略是: 1. 简要介绍何时毕业于哪所学校(姓名,籍贯可选择) 2. 从近往远介绍开始介绍工作经验 3 ...
- etl工程师 面试题_关于数据仓库工程师的一般面试题目
相信会对即将投身于数据仓库事业中的同行们有点帮助!不过这只是针对初级数据仓库工程师的基本问题. 本题只代表自己对数据仓库的肤浅认识,不代表任何公司的面试题目. 对于高级数据仓库工程师的问题更侧重于各种 ...
- 【面试】数据仓库面试经验总结
目录 第一部分,自我介绍 第二部分,专业知识细问 第三部分,数据治理 第四部分,开发/代码能力 第五部分,个人性格测试 第一部分,自我介绍 通常面试官会让进行自我介绍,加项目经历介绍(大多数会按简历上 ...
- 2022年全新数据仓库面试总结大全
数据仓库 一.数据仓库概述 首先,我们先来看下数据库.数据集市.数据仓库以及数据湖的概念. 1.什么是数据库? 数据库(Database)是按照一定格式和数据结构在计算机保存数据的软件,属于物理层. ...
- 数据仓库面试总结大全,深度解析底层逻辑
数据仓库 一.数据仓库概述 首先,我们先来看下数据库.数据集市.数据仓库以及数据湖的概念. 1.什么是数据库? 数据库(Database)是按照一定格式和数据结构在计算机保存数据的软件,属于物理层. ...
最新文章
- 算法导论课后习题解析 第四章 上
- 基于 HTML5 网络拓扑图的快速开发之入门篇(二)
- php 模板制作教程,Destoon模板制作简明教程_PHP教程
- 几点基于Web日志的Webshell检测思路
- Visual Studio 20周年软件趋势随想
- java jdbc(mysql)驱动源码分析_JAVA JDBC(MySQL)驱动源码分析(二)
- 开发 一个尴尬的角色
- [转] 国内软件破解下载网站列表!
- Java 实现打印文件详解(附demo)
- IDEA设置字体大小没反应解决
- windows 环境 批量下载 小破站 视频 bat 脚本
- 2014完美世界校招笔试题及答案
- 西方各国高职高专教育模式
- 欧姆龙PLC HostLink通讯 C-MODE格式
- Python中的字符串
- 大疆精灵4与双目视觉智能导航系统
- 2018年算法工程师秋招经验贴(微软、华为、网易游戏、阿里offer)
- Springboot+vue开发的图书借阅管理系统项目源码下载-P0029
- 【Appium】测试时遇到手机内嵌H5页面的切换问题
- 单片机实验说明<二>外部中断基本使用