小A以前是一名数据仓库工程师,有一天收到了一个仓库管理员的职位邀请……

by小B

数据库

说到数据库,我们一般是指传统的关系型数据库,也就是“联机事务处理”(OLTP),主要用户在线交易处理。比如银行业务、电信业务之前很多都是Oracle或者DB2(可能现在很多开发者没再用过),到后来的互联网电商用的MySql,这些都是关系型数据库。

后来有了newSQL、NoSQL(not only sql),现在也分了很多种类,比如大型互联网公司存储用户画像的HBase,还有用于存储文档,日志,问答等内容的文档数据库MongoDB,建议大家都去了解一下。

关系型数据库,大多都有主键这个概念。比如我可以通过手机号(主键)来查询用户都存储的什么信息。

数据仓库

数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

数据仓库汇总有可能有很多维度数据的统计分析结果,取百家之长(各个数据源的数据),成就自己的一方天地(规划各种业务域的模型,指标)。

举个栗子~

  • 车联网早期是肯定没有数据仓库的,刚开始启动阶段就是车上发送什么数据我就存储什么数据,比如出现告警,就实时展示出来给用户。

  • 慢慢的车多了,传统的关系型数据库已经受不了压力了,就需要我们升级架构,多个服务器,多个业务库。这个阶段的业务指标还可以勉强从业务数据库里查询。

  • 随着业务的发展,数据爆发式增长,公司的大神越来越多。和其他部门的联系也越来越紧密,业务的同事知道有这个好工具,也行用一下。负责电池的王老师来了说,我想知道现在咱们车辆的充电情况分布和天气是否有关系。程序猿小A说,“好的,但是需要等一个月我把天气数据爬下来,在把充电数据跑一下,然后再汇总一下就好了”。王老师默默的走了,再也没有来找过小A。

  • 慢慢越来越多的王老师来了,发现我们都无法及时解决问题。公司的CIO就要求我们想办法了。这时候【数据仓库】来了,我们把各种渠道收集的数据提前做好模型(初级数据汇总)。分各个业务主题,很多个表。比如电池就有一个主题了。这次小A主动联系王老师,表达了可以提供各种服务(在繁杂的SQL苦中作乐)。

  • 参考书籍《数据仓库工具箱》

后来越来越多的王老师来找小A,包括其他部门的程序小姐姐。小A不想被一群小姐姐再烦了,于是设计了"数据中台"

参考
之前文章《浅谈数据中台》

总结

说了这些数据仓库有什么过过人之处,第一提高生产力,第二,多源关系数据管理。数据仓库不是一个组件(技术),更像是一种方法论。

为什么前两年大数据环境下,数据仓库概念火了。其一,以前做过传统电信行业数据仓库的先行者,没有及时布道(毕竟之前没有微信这种好工具)。其二,互联网行业的兴起,数据量暴增,需求场景更明确了。其三,技术和方法论都是靠传播的,技术人的宣传,加上阿里出版的一些书籍(大数据之路)对此专业都推动巨大。

建议数据处理人员(表哥表姐们)都学习相关理论,建议数据分析师,算法工程师了解。

面试!什么是数据仓库?相关推荐

  1. 面试问题准备-数据仓库建模篇

    1. 什么叫数据仓库?数据仓库的特点? (相信inmon的数据仓库概念的四个特点是最基本的吧,当然需要加上自己的理解) 首先,用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库: 其次, ...

  2. 数据仓库高级工程师 字节跳动面试

    本人面试的是 数据仓库高级工程师–推荐系统,从官网投的校招,2020年底最后一天发的简历,元旦假三天,四号早上来了通知 以下是面试题,希望有帮助 1.自我介绍 挑重点,与面试职位无关的经历不要说,除非 ...

  3. 关于本博客数据仓库方面的原创文章汇总

    <!-- [endif]--> 关于数据仓库方面的文章汇总 我的数据仓库之路! 关于数据仓库维度处理的系列文章 1 关于数据仓库维度数据处理的方法探究系列-- 维的概述 2 关于数据仓库维 ...

  4. 招银网络科技笔试面试

    昨晚收到招银的面试通知,面试岗位:数据仓库.这两天准备下笔试.面试,网上搜了些资料,记录在这里: 一.上图所示数据库开发答案解析如下: --建表---------------------------- ...

  5. 1024程序员节,一份精华合辑送给你

    点击蓝色"有关SQL"关注我哟 加个"星标",天天与10000人一起快乐成长 写在前面 今天,10月24日. 对于程序员来说,这天意义非凡.我的公众号,提供了一 ...

  6. 数据仓库工程师面试经验(2019)

    所有面试的前奏: 先简要的介绍一下自己! 这句话基本上是所有面试官问的第一个问题,这个问题我的应对策略是: 1. 简要介绍何时毕业于哪所学校(姓名,籍贯可选择) 2. 从近往远介绍开始介绍工作经验 3 ...

  7. etl工程师 面试题_关于数据仓库工程师的一般面试题目

    相信会对即将投身于数据仓库事业中的同行们有点帮助!不过这只是针对初级数据仓库工程师的基本问题. 本题只代表自己对数据仓库的肤浅认识,不代表任何公司的面试题目. 对于高级数据仓库工程师的问题更侧重于各种 ...

  8. 【面试】数据仓库面试经验总结

    目录 第一部分,自我介绍 第二部分,专业知识细问 第三部分,数据治理 第四部分,开发/代码能力 第五部分,个人性格测试 第一部分,自我介绍 通常面试官会让进行自我介绍,加项目经历介绍(大多数会按简历上 ...

  9. 2022年全新数据仓库面试总结大全

    数据仓库 一.数据仓库概述 首先,我们先来看下数据库.数据集市.数据仓库以及数据湖的概念. 1.什么是数据库? 数据库(Database)是按照一定格式和数据结构在计算机保存数据的软件,属于物理层. ...

  10. 数据仓库面试总结大全,深度解析底层逻辑

    数据仓库 一.数据仓库概述 首先,我们先来看下数据库.数据集市.数据仓库以及数据湖的概念. 1.什么是数据库? 数据库(Database)是按照一定格式和数据结构在计算机保存数据的软件,属于物理层. ...

最新文章

  1. 算法导论课后习题解析 第四章 上
  2. 基于 HTML5 网络拓扑图的快速开发之入门篇(二)
  3. php 模板制作教程,Destoon模板制作简明教程_PHP教程
  4. 几点基于Web日志的Webshell检测思路
  5. Visual Studio 20周年软件趋势随想
  6. java jdbc(mysql)驱动源码分析_JAVA JDBC(MySQL)驱动源码分析(二)
  7. 开发 一个尴尬的角色
  8. [转] 国内软件破解下载网站列表!
  9. Java 实现打印文件详解(附demo)
  10. IDEA设置字体大小没反应解决
  11. windows 环境 批量下载 小破站 视频 bat 脚本
  12. 2014完美世界校招笔试题及答案
  13. 西方各国高职高专教育模式
  14. 欧姆龙PLC HostLink通讯 C-MODE格式
  15. Python中的字符串
  16. 大疆精灵4与双目视觉智能导航系统
  17. 2018年算法工程师秋招经验贴(微软、华为、网易游戏、阿里offer)
  18. Springboot+vue开发的图书借阅管理系统项目源码下载-P0029
  19. 【Appium】测试时遇到手机内嵌H5页面的切换问题
  20. 单片机实验说明<二>外部中断基本使用

热门文章

  1. c#使用Nplot插件开发之使用线图与时间轴
  2. Kafka的零拷贝技术
  3. mysql会话过期_Session过期、失效时间
  4. springboot配置swagger
  5. 一文搞懂结构体内存对齐
  6. 《中国制造业ERP研究报告》发布,带你看懂ERP行业最新发展趋势
  7. 音视频开发面试题集锦
  8. jlink远程下载笔记
  9. Java 并发编程(一):摩拳擦掌
  10. 回首互联网十年,我们能从八次烧钱大战中学到什么