前言

这个从上至下都在强调数字化转型的时代,越来越多公司重视数据,也越来越多的企业有数据建设的需求。

企业无论做任何数据工作,必然要有一定的信息化基础,也要有数据化建设的基础,少不了数据平台、数据应用工具,数据管理工具等

关于企业数据建设这块,本人从事了近7年,从技术到项目管理,做过乙方也做过甲方,也有多年和各乙方厂商打交道的经验,遂来分享选型“内幕”。

涉及到的产品有:数仓、大数据平台、报表、BI、数据中台、数据治理等。

数仓

数据仓库算是一个解决方案,视企业需求有不同架构(传统数仓、数据集市、大数据平台等),架构下有很多分层和组件,比起工具更需要架构师能力,具体原理就不讲了。关于数仓的选型主要涉及:数据存储方案、ETL、还有前端应用

底层的数据仓库服务器通常是一个关系数据库系统,常用的方案有Oracle、db2、还有greenplum、teredata等数据仓库专业解决方案。

传统的关系型数据库有:oracle、mysql、DB2。

大规模并行处理数据库:Vertica、Teradata(商业)、Greenplum (开源)。

Teradata老江湖了,银行业使用较多,但成本也是真的贵,目前我们做项目较多的是用Greenplum,算是业界最快和最高性价比的高端数据仓库解决方案,Greenplum是基于PostgreSQL的,于2015年开源。我知道的国内四大行有3家在用,5大物流公司有4家在用,不少公司在从Teradata迁移到GP。

大数据平台主流的是:Hadoop+Hive。这套方案有多通用不用多说了,后面说到的大数据平台厂商也大多基于这个来设计平台产品。

ETL工具,kettle、Tablend和Penthao用的较多。

Talend:基于Eclipse,具有很好的扩展性、稳定性以及可定制化(可以自己开发eclipse插件),并且服从Eclipse标准(如文件目录结构都是程序员熟悉的结构)。Talend具有很好的嵌入性,因为它生成的是Java代码,这些代码可以很好的和其他系统结合在一起,这就要求使用者会java。

Penthao是一个老牌工具,2001年就发布了第一个版本,Kettle是Penthao整个解决方案的一个组件,用来进行数据集成。它也是基于java开发的,但是它不要求用户会java,将底层实现细节都隐藏了。主要的缺点是和talend相比,它的扩展性较差。由于它很难扩展,所以在社区中可用的组件就比较少。

前端应用工具主要就是报表、BI和数据挖掘,前两者的选型后面会细讲。

大数据平台

2013年左右,Hadoop体系的不断完善,标志着大数据应用场景可以被满足了。这时候就有前沿的一些企业开始做大数据平台,厂商特别多,主流的就说3个吧,华为、星环还有新华三。

这几年这些厂商也开始往“数据中台”的概念上走。但是毕竟是传统软件厂商,有点搞不太懂互联网公司提的“数据中台”到底是啥,貌似跟他们做的大数据平台没啥区别。

其实所有大数据平台都已经具备了“数据中台”的基础能力,你拿大数据平台和数据中台的产品对一下,其实各种底层架构和功能大体都一样,对于大部分企业来讲,中台那一套还是适合互联网运营商银行的“有钱主”,“数据巨无霸”,真的中台更强调数据服务化,但普通企业有几家真的达到这个痛点,还是老老实实做好数据化管理吧。

如果你的公司有庞杂的业务系统,数据量达到PB级,海量数据的存储、计算的需求,三个里面选型吧,对比下方案。

报表

现在还在做报表的厂商已经很少了,国内主流的就帆软finereport和润乾,起初很火的水晶报表最近也见的少了,还有开源的工具jaspereport也用的挺多。

选型方面,普通小公司,1~2个数据工作者,建议采购一个报表平台就行了,不用急着上BI。

帆软finereport功能齐全,生态和服务很好,招报表工程师也比较好招,价格比其他厂商略贵,品牌和服务溢价也能理解,毕竟国内top1。

润乾已被帆软打压的走低价,号称一套万把块钱,应该还会按并发抬价,还不算服务和项目实施,乙方可以考虑。

BI平台

BI在零几年的时候都是国外市场的天下,BO、Brio、Cognos、MSTR等,都是老牌BI厂商,我做纯技术的时候就大量使用他们的产品。东西都不便宜,而且是按产品+用户双重收费,不太划算。架构也是真的复杂,上手难度对比现在互联网时代产品的使用风格,也是确实难。

早期国内市场只有报表,但凡BI相关的大单都被国外厂商垄断,但是后面BI的需求越来越明显,就和当初信息化产业发展类似,中小型企业的需求逐渐显露。于是国内也就开始发展BI了,比如帆软BI、BDP等。东西也不差,价格比国外的美丽多了,而且基本都只是限定服务器,不限定用户数,怎么用都OK。再到后来,tableau、powerBI这俩工具型产品火了起来,有很多拥护的个人使用者,上手确实好用,但是在企业级应用场景,要看性能和并发成本,就见仁见智了。

不过用BI,就不是2、3个人的事情了,必须得建数仓,然后再做各种可视化、多维分析等。所以就得有数仓工程师、ETL工程师、BI工程师等岗位。当然,你要是牛,一个人全兼了也没问题,很多单位招人也确实要兼做。

中大型公司,有好几个业务系统的,建议采购BI系统,什么数仓、指标体系、固定报表、多维分析、数据可视化就都有了。建设期得多几个人,建好之后就很舒服了,业务固定的话,留两个人维护就OK了。

数据中台

“中台”的概念就是阿里推广开的。阿里从SuperCell学过来这一套,然后化为阿里内功后,再向外推广。“数据中台”也是那时候一起推广出来的。所以主要的厂商都是阿里系的人出来创业的公司。

袋鼠云、数澜、奇点云都是阿里的P9出来创办的公司,技术都差不多。

袋鼠云是阿里DBA团队出来的,比较鸡贼,牢牢的跟阿里绑死,阿里接单,袋鼠云干活,跟在阿里后面。

数澜是阿里产品团队出来的,产品设计的比较ok,宣传的也很不错,业务开展的风生水起。

奇点云是阿里数仓和数加团队出来的,貌似宣传的没上面两个强,接触不多。(数加是阿里自己的产品)

如果你们公司业务复杂,数据量巨大,关键是业务方面有多个客户应用场景,数据交互效率低,需要大量的客户数据价值发现,需求也很紧迫,那可以考虑研究下中台方案。

最后总结

1、报表平台解决固定报表、自动化报表,支持打印和计算等大批量批处理作业,公司有需求直接用帆软一类的平台解决,配1、2个报表工程师就能搞定了。

2、BI平台是在报表平台上增加解决多维分析、自助查询报表的能力,需要数仓团队做底层数据支撑,需要BI工程师设定各种度量、维度,做多维分析报表;不用一张张的做固定报表了;

3、大数据平台是在BI平台基础上,解决大数据量的存储、计算、实时计算的问题;无需关注底层的海量数据存储、计算、实时计算等问题;需要增加大数据工程师进行集群的维护,基于大数据平台的各种开发工作。

4、数据中台是在大数据平台基础上,提供ID打通、统一模型、统一服务的能力,附加标签工厂、用户分析等偏互联网属性的功能。人员需要增加数据中台产品经理,其他的工作还是由大数据工程师、大数据分析师等完成。

5、数据治理能力是从BI平台就开始有了,在大数据平台和数据中台中不断被强化。所以BI平台、大数据平台、数据中台中都有数据治理的能力。在数据中台中还增加了数据资产和计费的概念和能力。

史上最全企业数据产品选型对比(含数仓、报表、BI、中台、数据治理)相关推荐

  1. 性能服务器suv,史上最全良心国产SUV性能对比

    史上最全良心国产SUV性能对比 对比车辆: 1.瑞风S3 2.骏派D60 4.哈佛H1(参数|图片) 外观:外观上四款车各有特色,全凭个人喜好决定.在这里就简单为大家介绍一下. 瑞风S3整体上属于流线 ...

  2. 帆软报表在已经搭载服务器上开发_史上最全企业数据产品选型对比(含数仓、报表、BI、中台、数据治理)...

    前言 这个从上至下都在强调数字化转型的时代,越来越多公司重视数据,也越来越多的企业有数据建设的需求. 企业无论做任何数据工作,必然要有一定的信息化基础,也要有数据化建设的基础,少不了数据平台.数据应用 ...

  3. pgsql处理文档类型数据_【干货总结】:可能是史上最全的MySQL和PGSQL对比材料

    关于SQL特性支持情况的对比,可以参考:http://www.sql-workbench.net/dbms_comparison.html 9. 主从复制安全性 PGSQL 同步流复制.强同步(rem ...

  4. 史上最全的前端开发面试题(含详细答案)

    本文由我收集网络 自己平时面试的 或者面试别人时的一些前端面试题,初学者阅后也要用心钻研其中的原理,重要知识需要系统学习.透彻学习,形成自己的知识链.万不可投机取巧,切勿临时抱佛脚只求面试侥幸混过关. ...

  5. 史上最全 | fNIRS相关软件推荐(含下载资源)

    文章来源于微信公众号(茗创科技),欢迎有兴趣的朋友搜索关注. Homer3 Homer3是基于MATLAB运行的开源软件,用于fNIRS数据的分析.Homer3是成熟的HOMER2软件的延续,虽然Ho ...

  6. SpringCloudAlibaba史上最全电子书(阿里云学习中心整理)

    <Spring Cloud Alibaba>2020 本电子书内容来源于每特教育在阿里云学习中心上架课程<精通Spring Cloud Alibaba>,主讲人:余胜军,由开发 ...

  7. 数据中台 第7章 数据体系建设:数仓分层设计、数据建模

    数据中台数据体系是在全域原始数据的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整.规范.准确的数据体系,可以方便支撑数据应用. 中台数据体系应具备以下特征: ·覆盖全域数据:数据 ...

  8. 史上最全大数据学习资源整理

    史上最全大数据学习资源整理 ----------------------------------------------------------------------------------- 转载 ...

  9. 史上最全“大数据”学习资源整理

    转自:史上最全"大数据"学习资源整理 ------------ 资源列表: 关系数据库管理系统(RDBMS) MySQL:世界最流行的开源数据库; PostgreSQL:世界最先进 ...

最新文章

  1. Markdown here 离线下载安装
  2. 时间为什么用 12 进制?
  3. 极光商智®服务器2007今日正式发布
  4. IntelliJ IDEA 编译错误,提示 Compilation failed: internal java compiler error或java compiler failed
  5. 百度地图infowindow的close事件_百度地图蒙圈:车主要加油误导母婴店 跑偏理由令人啼笑皆非...
  6. C# 进制转换(二进制、十六进制、十进制互转) .
  7. extern 结构体_选三物质结构高中化学知识模块音频
  8. 使用git初始化本地仓库并提交到远程分支
  9. python解析html的库_python自带的用于解析HTML的库HtmlParser
  10. Git如何配置多个SSH-Key呢?
  11. Android仿京东、天猫app的商品详情页的布局架构, 以及功能实现
  12. 企业舆情监测的意义是什么?为什么要做舆情监测?
  13. markdown转html格式
  14. 对选股宝实时信息进行爬虫
  15. android10获取WiFi名称 已经连接的WiFi名称 SSID
  16. 3D模型格式的一点总结
  17. 三大集合:List、Map、Set
  18. 猿创征文|Hexo+Github搭建完全免费个人博客详细教程
  19. littleVGL学习笔记8——lv_cont 容器
  20. 服务熔断和服务降级的区别

热门文章

  1. linux编译mesa,如何在Ubuntu 16.04,17.10中安装Mesa 17.3.3
  2. 用Java写有关早上的语录,实用的适合早上发的早安问候语语录汇编39句
  3. 2022年中国母婴新消费白皮书
  4. jar文件导出和导入
  5. 大规模知识图谱预训练模型及电商应用
  6. 基于区块链的数据市场
  7. 作者:张群(1988-),女,博士,中国电子技术标准化研究院设备与数据研究室副主任。...
  8. 客座编辑:李建平(1976-),男,博士,中国科学院科技战略研究院系统分析与管理所研究员、所长...
  9. 【算法分析与设计】实验 回溯算法解决0-1背包问题
  10. Ubuntu 18.04 安装 mysql 并且设置远程可登陆连接