数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?

虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构、成本、可伸缩性和性能,很少考虑另一个关键因素:分析师在这些数据库上编写查询的难易程度。最近,Mode的首席分析师Benn Stancil发布了一篇文章,从另一个角度阐释了哪一款数据库最适合数据分析师。

Benn Stancil认为数据分析工作不可能一蹴而就,分析师在使用数据库的过程中阻碍他们速度的往往不是宏观上的性能,而是编写查询语句时的细节。例如,在Redshift中如何获取当前时间,是NOW()、CURDATE()、CURDATE、SYSDATE 还是WHATDAYISIT。

在Mode公司,分析师每天都会使用各种不同的语言编写几千个查询,运行在Mode编辑器里的查询超过百万个,而Benn Stancil就是从这些数据出发,对MySQL、PostgreSQL、Redshift、SQL Server、BigQuery、Vertica、Hive和Impala这八款数据库进行了比较。

1.查询错误是否容易解决

首先,Benn Stancil认为查询错误是否容易解决是衡量数据库的一个最基本指标。数据库提供的错误信息(通常是语法错误、函数名错误、逗号错位等)最能表明该系统是否会对数据分析师造成极大的挫败感。通过对8种数据库查询错误频率的比较,Benn Stancil发现Vertica和SQL Server错误率最高,MySQL和Impala最低,如图所示:

但是,对于该结果Benn Stancil认为可能有点不严谨,因为Impala、MySQL和Hive是开源的免费产品,而Vertica、SQL Server和BigQuery不是,后三者的用户通常是有充足分析预算的大型企业,其较高的错误率很有可能是由于使用更深入而不是语言“更难用”。

  2.复杂性

除了错误率之外,Benn Stancil还讨论了复杂性。虽然不同语言其查询长度、查询复杂性和语言复杂性之间的关系盘根错节,要界定清楚很难,但可以间接使用查询长度作为度量的指标,因为一门语言之所以简单很有可能是因为它简洁。这八种数据库查询长度的统计结果如下:

如果说单纯地比较最终的长度有失偏颇,那么可以看看随着分析的逐步深入,查询逐渐变复杂的过程中,其修改次数与长度之间的关系:

该图显示,经过20次左右的编辑之后,查询长度通常会变为之前的2倍,而在100次编辑之后,长度会变为之前的3倍。那么在修改的过程中,其编辑次数与出错的比率又是什么样子的呢?

从图中可以看出,PostgreSQL、MySQL和Redshift的错误率较低,Impala、BigQuery和SQL Server的错误率较高。另外,和之前一样,Vertica的错误率依然最高。

3.分析师技能

此外,Benn Stancil认为分析师的技能也很重要。他对使用多个数据库并且在每个数据库上至少运行了10个查询的分析师进行了统计,计算了这些分析师在每个数据库上的查询错误率,并根据统计结果构建了下面的矩阵:

该矩阵展示的是顶部数据库与左边数据库相比其错误率的差别,数值越高表现就越差。例如,Hive和BigQuery交叉处的“20.2”表示:对使用这两款数据库的分析师,其使用Hive的错误率要比使用BigQuery高20.2。最底部的Total行是结果总计,从中可以看出MySQL和PostgreSQL始终表现较好;Vertica跳跃最大,几乎是从最底部跳到了中游,打败了SQL Server 和Hive,这也暗示了Vertica的高错误率很可能是由于分析师的能力而不是语言本身。

最后,Benn Stancil认为在分析的这8个数据库中,MySQL和PostgreSQL编写SQL最简单,应用也最广泛,但与Vertica和SQL Server相比它们的特性不够丰富,而且速度要慢。综合各方面的因素,Redshift或许才是最好的选择。

本文转自d1net(转载)

最适合数据分析师的数据库为什么不是MySQL?相关推荐

  1. 什么数据库最适合数据分析师

    数据分析师都想使用数据库作为数据仓库处理并操作数据,那么哪一款数据库最合适分析师呢?虽然网上已经有很多对各种数据库进行比较的文章,但其着眼点一般都是架构.成本.可伸缩性和性能,很少考虑另一个关键因素: ...

  2. r语言 python 股票_R语言:抓取股票数据并存入数据库进行分析实例 MySQL

    R语言连接mySql 准备: RODBC R studio console下 > Install.packages(RODBC) 安装MySql https://dev.mysql.com/ge ...

  3. r语言对mysql数据分析_R语言:抓取股票数据并存入数据库进行分析实例 MySQL

    R语言连接mySql 准备: RODBC R studio console下 > Install.packages(RODBC) 安装MySql https://dev.mysql.com/ge ...

  4. CDA数据分析师 - SQL数据库基础 数据类型表操作语句

    SQL 基础概念 [领会] 关系型数据库基本概念 表的基本概念(字段.记录) 表的约束条件(主键.外键.非空.唯一.自增.默认值) 实体关系图(E-R 图) ANSI-SQL 以及不同的数据库实现的关 ...

  5. 安利一个最适合数据分析师的小众高薪兼职!

    2020年,生活把你镇住了吗? 疫情这只黑天鹅,在过去一年里给我们留下不可估量的影响. 大量企业倒闭,我们的收入变得越来越不稳定 物价上涨,生活开销越来越大: 随之还有花呗.房贷.信用卡还款压力... ...

  6. CDA数据分析师 - SQL数据库基础 查询连接

    SQL 查询 [应用] 查询单表语句 select语句.from 语句.where 语句.group by 语句.having 语句.order by 语句.limit语句&子查询等 聚合函数 ...

  7. python数据分析师书籍_做数据分析不得不看的书有哪些?

    小K给大家整理了一份书单,很适合刚接触数据分析的同学哦,快快收藏起来. <深入浅出数据分析> <深入浅出数据分析>写得漂亮,读者可以学到分析现实问题的系统性方法.从卖咖啡到开橡 ...

  8. python数据分析就业前景_数据分析师找工作的秘诀,从读懂招聘 JD 开始

    JD(job description缩写),在招聘中,最常用到的意思是岗位介绍和工作职责描述. JD让无数求职者头痛,数据分析师更是其中的头疼之最.这份工作门槛尚可,薪资不错,行业发展前景好,因此吸引 ...

  9. 一个优秀数据分析师的准则

    在知乎上,有很多的大学生或求职者都在问,现在好的数据分析师都在哪些行业.什么岗位,还有哪些专业是适合数据分析师专业的? 1.现在数据分析师的分布是怎么样的情况? 从不完全统计,现在数据分析师主要分布在 ...

  10. 使用oracle 游标修改数据,修改oracle数据库游标

    SQL游标原理和使用方法 版权声明:本文为博主原创文章,未经博主允许不得转载.https://blog.csdn.net/chinahuyong/article/details/3552248 SQL ...

最新文章

  1. Useful Shell Option – extglob 和 shopt命令
  2. SAP UI5函数节流(Throttle)的一个最简单的例子
  3. tensorflow的一些函数
  4. SqlServer双机热备技术实践笔记
  5. php 取数值整数的函数是,PHP取整数函数常用的四种方法小结
  6. pythonos模块介绍_python的os模块fnmatch模块介绍
  7. SQL Server 2017:mTVF的交错执行
  8. LeetCode 29. Divide Two Integers
  9. office系统构架
  10. 山东大学高频电子线路实验二 高频功率放大实验详解
  11. 【多元函数微分学】易错点总结
  12. 昌航程序设计竞赛初赛(周五晚19点)
  13. WP个人主题源码Cosy3.1.3
  14. 流行的软件测试工具介绍
  15. xshell编程自动备份数据库
  16. 链路聚合的定义、链路聚合的概念和基本术语、链路聚合的特点
  17. 数学速算法_掌握这11种小学数学题型,期末稳坐学霸之位!
  18. 使用C语言实现LED1/LED2/LED3灯点亮
  19. 这个仅2M的宝藏小工具,竟无需群发就能揪出微信所有单向好友!
  20. 建议收藏!财务报表制作的要点

热门文章

  1. JS + HTml 时钟代码实现
  2. 在Ubuntu上安装JDK、Ant、Jmeter和Jenkins
  3. 《你的灯亮着吗》读书笔记一
  4. HDU 1527 取石子游戏
  5. Hive学习笔记(二)——数据模型
  6. python isinstance()方法的使用
  7. 【旧文章搬运】从XP到Win7看Windows对象管理的变化(概述)
  8. SpringMvc @PathVariable 工作原理
  9. Java判断是否为移动端
  10. [算法]tarjan