有一个问题,在大数据界一直受到很多人的关注,那就是大数据分析到底应该用什么工具?2020年了,我们应该拓宽视野,而不是仅仅局限于那几个数据分析老古董。

我急切地想知道,于是打开了某度,但是一搜全是很鸡肋的信息,很多软件也没啥实际用处,浪费了时间还找不到答案,气坏了我们这些热锅上的蚂蚁。

但是仔细剖析这个问题,冷静思考之后我想到了几个很有价值的思考点,这么多年的工作经验,也让我有了一定的心得体会,接下来就系统地和各位讲明白。

在数据分析师的工作中,报表制作是频率很高的一项工作内容。成熟的公司中,通常已有数据产品或BI工具来帮助分析师完成报表类型的工作,而且对于需要外源数据(这里指非数据库中的存储数据)更新或是业务变动较快的业务来说,实时更新的数据BI工具就显得尤为重要了。

如果你只做数据分析,全平台全方位的数据,根据目前所接触到的,EXCEL已不足够支撑,而且很快就会被淘汰。如果你要做拖拽重计算之类的,或者是商务智能的,你可以用BI工具,BI工具有许多,下面再接着介绍。

简单来说,我们可以把大数据分析工具简单分成两个维度:

  • 第一维度:数据存储层——数据处理层——数据报表层——数据分析与展现层
  • 第二维度:用户级——部门级——企业级

先从第一维度说起吧。

1、数据存储层面

这一方面主要是数据库和数据仓库的一些知识点,企业要想做数字化转型,把原先的一些数据系统,如ERP、OA、CRM、Excel等,必须得进行数字打通,不然整个企业就相当于在进行烟囱式开发,数据东一块,西一块,根本不能成为体系。

具体的,就是一些数据库的使用,不要说这方面的知识不想学,有运维替你管着。

一个好的大数据体系,数据仓库和数据库、数据湖、数据集市的建立是非常重要的,建模的维度就决定了你后面分析的维度,如果维度不够全面与准确,那你的工具再好也就没有意义了。

2、数据处理层面

python、hadoop可以闪亮登场了,但是hadoop是一个非常复杂的平台,需要的技术很多,所以这里我们暂时不讨论。

我做了很多年的大数据技术了,所以最早我开始做分析的时候都是希望通过编程来实现,使用Python的好处是自由度非常高,能够灵活运用模型和算法,并且从数据采集到数据清洗到数据分析,一种语言就可以全部搞定。

现在很多人都在说不学python会怎么怎么样,但其实不是这样,归根结底只是一个底层语言,需要混合使用。Python是有一定门槛的,而且学习的时间成本不低,往往一次分析需要花较多的时间,如果不是大型分析项目,有点大材小用。

但是对于大型的项目,尤其是涉及到数据挖掘类的,我建议用python。

还有一些可以数据抓取的工具,我就不说了,本质其实都差不多。

3、数据报表层面

可能提到报表,很多人脑子里的想法就是Excel,这其实是完全不对的,如果是Excel,那我也没有写这篇文章的必要了。

不信?你随便去问问500人以上的公司,Excel行不行,这样的公司可能有千万家,但最后得出的结论都是一致的:

  • Excel会导致企业信息化程度不够
  • 数据口径不一致,浪费人力去核对
  • 数据采集困难,更改不能实时显示数据

FineReport做的可视化

关于报表工具,我认可的只有FineReport,这里就不再过多介绍。

4、数据展现层面

我上一家公司用的是SAS,可现在流行R语言来训练模型,作为数据分析工具,今年已经没有采购SAS了预算了,预算都给大数据平台产品了。

你们以为的数据展现,可能就是所有数据都处理好了,然后直接生成可视化就行,其实远不是这样,那数据变动怎么办呢?数据量太大,宕机了怎么办呢?

所以一个实时的可视化工具就显得非常重要,我觉得FineBI和Tableau是一个不错的选择,但是Tableau是国外的工具,一是服务体系不够全,出了问题要解决很久,这是不能接受的;二是价格实在是太高,动不动就上百万。

所以我推荐FineBI,一款web级的敏捷数据工具,不仅直接拖拽就能生成可视化,而且还能做复杂报表,BI报表就是企业的新方向。

你是可以直连数据库的,它支持很多种不同类型的数据库,哪怕是不同的数据源,也可以在一起分析!

谈到BI,就不得不谈一下OLAP技术,老一代OLAP分析的技术实现需要严格的从头开始手动建模,Cube的大小极大限制了大数据背景下的使用场景,动辄成百上千新旧不一的Cube需要繁重的运维,架构无法纵向扩展、无法满足大数据量下构建、查询和并发的性能要求。

FineBI的数据业务包是BI分析的数据基础,由管理员创建,通过定义的数据连接向数据库中取数,获取到的数据自动保存在Cube中,BI分析则从Cube中获取数据,这也就保证了只要Cube中存有数据,就算不联网也可以使用BI分析。

所以现在懂了吗?数据实时显示,FineBI就是这么完成的。

其实数据展现类的工具,靠不靠谱还得看引擎,FineBI引擎的两种模式完美支持大数据量分析,在特定的场景下,如银行、电商,可以做到亿级数据的秒级呈现。

  • 抽取模式:提供基于索引的高效计算引擎,通过数据预加载,支撑前端快速数据分析,适用于实时性要求不高的分析。
  • 实时模式:直接对接读取企业的数据库表进行分析,适用于对实时性要求较高的数据分析场景。

你不要以为FineBI是给IT、开发人员用的,它的设计模式,就是简单易用,目标是业务人员,不用再经历提交需求——等到好久才拿到报告——不满意再改——又是无尽的等待...

IT帮你初步处理好数据之后,你就可以按照自己的分析规划,将数据拖入到需要分析的维度上,对了,FineBI还具有ETL的功能,内置的数据处理计算,不需要你写函数,也是封装好的功能。

最后来说说FineBI的可视化效果吧,这也是很多领导看重的。

关注我,并转发该文章,回复“数据”,即可获得上述数据工具!

20年备受关注的6款数据工具!谁最好用?毫无争议的答案来了相关推荐

  1. 大数据心得体会_20年备受关注的6款数据工具!谁最好用?毫无争议的答案来了...

    有一个问题,在大数据界一直受到很多人的关注,那就是大数据分析到底应该用什么工具?2020年了,我们应该拓宽视野,而不是仅仅局限于那几个数据分析老古董. 我急切地想知道,于是打开了某度,但是一搜全是很鸡 ...

  2. 备受关注的未来大数据世界:全球大数据发展的七个方向

    当今科技领域发生了巨大的变化,也为大数据改善各行各业的业务.促进经济增长打开了大门.数据能帮助组织机构更好地开展工作,大数据分析已经超越了热门的IT趋势标签,成为公司业务的一部分. 大数据的行业需求预 ...

  3. 大数据工具千千万,到底谁才是最强王者?

    外面有成千上万的大数据工具.它们都承诺可以为你节省时间和资金,并帮助发掘之前从来见过的业务洞察力.虽然确实如此,可是面对那么多的选择,想理清这么多的工具谈何容易. 哪一种工具适合你的技能组合?哪一种工 ...

  4. 盘点:2017年备受关注的20家企业级服务公司

    步入2017年,企业级服务发展已步入快车道,万亿级的蓝海市场呈现出前所未有的强劲势头.市场洗礼正在继续,行业格局逐渐厘清.然而,由于各领域内企业级厂商与产品形态各异.产品同质化现象泛滥,且大多企业缺乏 ...

  5. T 客汇盘点:2017 年备受关注的 20 家企业级服务公司

    步入 2017 年,企业级服务发展已步入快车道,万亿级的蓝海市场呈现出前所未有的强劲势头.市场洗礼正在继续,行业格局逐渐厘清.然而,由于各领域内企业级厂商与产品形态各异.产品同质化现象泛滥,且大多企业 ...

  6. 机器之心年度盘点:2017年人工智能领域度备受关注的科研成果

    机器之心原创 参与:李泽南.李亚洲.黄小天 2016 年,人工智能行业经历了语音识别准确率飙升.神经机器翻译重大突破.图像风格迁移的兴盛.2017 年,人们对于 AI 领域的期待变得更高了,不过在这一 ...

  7. 2022 年最受欢迎的 20 款黑客工具

    点关注公众号,回复"1024"获取2TB学习资源! 1.Hijacker v1.5 适用于 Android 的多合一 WiFi 破解工具. 项目地址:github.com/chri ...

  8. 10月份值得关注的10款P2E链游

    十月份最值得关注的边玩边赚游戏是什么?一些游戏将发布重大更新,而其他游戏将进行首次预售.作为一个靠游戏赚钱的玩家,你总是在寻找下一个大热门,但也不应该忘记现在还在早期.<玩游戏赚钱线上杂志> ...

  9. 分享丨一篇文读懂19款数据分析软件,解救选择困难症!

    数据分析(Data Analytics)从来都不是一个寂寞的领域,每一个时代都赋予其新的内容.在大数据盛行之时,各种大数据分析软件如雨后春笋一般涌现出来,整个市场一片繁花似锦.欣欣向荣.本篇文章主要介 ...

最新文章

  1. 最小树形图及其生产方法
  2. 干货|简单理解逻辑回归基础
  3. python的直接赋值不会拷贝,只相当于变量的一个别名
  4. Mybatis工作流程,附带mybatis的mapper文件和config配置文件模板。mapper文件和dao接口的关系——xml中的namespace和sql标签id命名要求。
  5. 凯撒(Caesar)密码加密解密c语言
  6. 函数read、write、lseek
  7. java 四元一次方程_JAVA编写求解一元多次方程的程序,要求如下:
  8. 人生苦短,喝点python性能鸡汤
  9. 45.Android 第三方开源库收集整理(转)
  10. AndroidStudio安卓原生开发_Activity的基本配置_配置AndroidManifest配置activity的基本信息---Android原生开发工作笔记81
  11. tp5之允许跨域请求
  12. Javascript:使用setAttribute设置某个标签节点display为none仍然显示
  13. Libusb简介及例子
  14. RTX查找本地明文密码
  15. Google 另类技巧不完全手册
  16. Java实现 已知ListString list = new ArrayListString();list .add(张三丰,北京);......要求:求出每个地区有多少人,都是谁?
  17. Dropbox + Farbox快速创建免费博客小站
  18. 超级小白的AOP之Springboot 日志工程
  19. 泰勒级数、欧拉公式、三角函数
  20. Paypal REST API Java 版 PC端商城支付接口对接。

热门文章

  1. Mybatis_day3_Mybatis的动态SQL
  2. 音视频学习之 - H264解码
  3. 疫苗:JAVA HASHMAP的死循环
  4. PHP的学习--可变函数
  5. 【PHP】【PHP100改进系列】上传图片水印、缩略图、图片大小预处理类
  6. log4net使用注意
  7. 自拍会不会被大数据_不会搭建大数据平台,我被老板优化了...
  8. day055056Django之多表操作,多表查询
  9. MySQL忘记密码解决方案
  10. 并发编程(4)同步并发操作