猿创征文｜ 我的开发者工具箱之数据分析师装备库
工欲善其事，必先利其器。
——《论语·卫灵公》
文章目录
- 前言
- 一、对接需求阶段
- （一）DBeaver
- （二）WPS
- 二、设计阶段
- （一）亿图图示
- （二）Confluence
- 三、模型报表开发阶段
- （一）Notepad++
- （二）PyCharm
- （三）蛙蛙工具
- （四）Beyond Compare
- 四、可视化呈现阶段
- （一）Tableau
- （二）SmartBI
- 总结
前言
分享本人在日常数据分析工作各阶段常用的工具，供小伙伴们参考。
一、对接需求阶段
当业务方有需求下发给我时，我会先根据他们的需求，分析其业务痛点，再从业务痛点着手，查看业务系统中的相关数据。在这个过程中，主要涉及到和业务方沟通、试算、对数等工作，我会用到如下工具。
（一）DBeaver
DBeaver是一款数据库工具，支持Mysql、PostgreSQL、Hive等。
- 优势所在：
- 支持大多数数据库，且驱动安装比较方便，数据分析涉及的数据源多种多样，目前所在公司没有数据湖，需要从各业务系统获取数据，涉及到Mysql、PostgreSQL、Hive等，都能完美支持。
- 具有联想输入功能，当输入库名、表名、字段名的前几个字母时，可以展示前几个字母相同的库名、表名和字段名，直接选择想要的即可，非常友好。
- 数据导入导出操作简单，将我们SQL查询的数据导出，可以更方便地与业务方核对。
- 可以保存历史SQL语句，方便后续复用。
（二）WPS
国产的办公软件，部分功能需要收费，可添加下文BI工具SmartBI组件制作透视分析图表，并在SmartBI系统展示或集成到钉钉等软件。
- 本人常用功能：
- 数据对比，用于快速区分相同数据。
- 数据透视，简单的数据筛选方便与业务方说明情况，试算核对。
二、设计阶段
当需求澄清完成后，就进入到整体设计阶段，这时需要关注的是业务系统或者其他数据源的结构及其之间的联系，编写设计文档，需求评审。为了更好的沟通，方便团队小伙伴理解，会用到画图工具和文档编辑工具。
（一）亿图图示
一个绘图软件，简单易用，形成的图形也简洁。
- 本人使用场景：
- 前期业务调研阶段用它来画业务系统的E-R图，有助于了解业务系统表与表之间的联系。
- 理解业务时用其绘制思维导图，串联各业务场景。
（二）Confluence
协同办公软件，可以集成Jira，文档编写时类似office word操作。
- 本人使用场景：
- 需求文档和设计文档编写，团队伙伴都可以看到文档，进行修改评论，当有人修改文档时，会提示刷新。
三、模型报表开发阶段
当设计完成，评审通过后，正式进入开发阶段，这个阶段是要将业务过程或者需求转化为代码，以下是我常用的编辑器和小工具。
（一）Notepad++
编辑器，可用于写代码，也可以用于写文档，本人主要用于写HiveQL和SQL脚本。
- 优势所在：
- 修改代码方便，SQL代码经常会涉及到修改一整列的情况，使用Alt + 鼠标点击下拉，可以选定整列进行整体修改。
- 自动对齐，写SQL代码时，如果一列代码有符号又有中英文，要AS重命名，经常会出现上下行AS无法对齐的情况，Notepad++会自动对齐，页面美观，强迫症患者的福音。
（二）PyCharm
编辑器，重型Python编辑器，本人主要用于写Pyhton脚本和Shell脚本。
- 使用感受：
- 非常多的主题，背景可以选择，背景还可以自定义。
- 可以自动检测代码语法问题。
- 方便地git push
（三）蛙蛙工具
一个在线工具网站，包含开发工具、转换工具，甚至还有毒鸡汤，工作疲惫时看一看，毒鸡汤那清奇的脑回路倒也甚是解乏。
- 本人主要使用模块：
- 开发工具中的crontab执行时间计算，生产中批任务使用Airflow调度，任务Schedule依赖于crontab命令，使用蛙蛙工具可以快速转译生成执行时间，方便设置调度周期。
- 开发工具中的正则表达式测试工具，可以简单测试正则表达式是否写对。
（四）Beyond Compare
比对工具，当脚本或者文档复杂，需要对比两个脚本或者文档间的差异时，可以派上用场。
- 使用感受：
- 两个脚本或者文档分两个版面显示，差异部分高亮，一目了然方便核对。
- 还会自动将相同部分排列于同一行，更清晰易懂。
- 脚本需要修改时可以直接点击将其中一个版面部分内容替换为另一个版面的内容。
四、可视化呈现阶段
当处理好数据后，需要做的就是数据可视化了，选择好的可视化工具可以更快捷地制作图表，精美且内容清晰的图表也能让用户有更好的使用体验。以下是比较常用的两款BI工具。
（一）Tableau
Tableau是一款功能比较丰富的BI工具，可以方便地绘制各种可视化图表。
- 优势所在：
- 老牌的BI工具，可视化样式丰富。
- 使用维度度量拖拽的方式形成图表，操作简单。
- 可以支持多种数据源的连接，比如Mysql、PostgreSQL等。
（二）SmartBI
国产的BI工具，售后服务相应快。
- 使用感受：
- 可以自由设置用户，并根据数据源分配权限，可以细化到用SQL来设置某个用户能看到的数据范围。
- 售后相应较快，提工单解决问题，有提供使用培训。
- 具有金融血统，金融方面的数据分析经验比较丰富。
- 类似帆软，可以用类Excel组件编辑，对用惯Excel画图的用户友好。
总结
工欲善其事，必先利其器。出自《论语·卫灵公》，子贡问为仁。子曰：“工欲善其事，必先利其器。居是邦也，事其大夫之贤者，友其士之仁者。”其意为，子贡问怎样修养仁德。孔子说：“工匠要做好工作，必须先磨快工具。住在一个国家，要侍奉大夫中的贤人，与士人中的仁人交朋友。”
开发者工具，就是我们的装备，装备的好坏，会直接影响开发的效率，以上的工具在我日常工作中用着比较顺手，各位小伙伴可以试试。
猿创征文｜ 我的开发者工具箱之数据分析师装备库相关推荐
- 猿创征文｜GISER开发者必备高能武器库
前言 不知道现在技术全力,GISER的比例大概是多少?GIS这个领域在IT中占比比较小,从业者估计更少.但随着现在国家大力推广国家新基建,比如实景中国的建设,智慧城市的建立等等.许多的目光又聚集到了G ...
- 猿创征文｜“云“创新展望：数据之浩瀚『文末赠书』
- 猿创征文 | 开箱即用 yyg-cli：快速创建 vue3 组件库和vue3 全家桶项目
1 yyg-cli 是什么 yyg-cli 是优雅哥开发的快速创建 vue3 项目的脚手架.在 npm 上发布了两个月,11月1日进行了大升级,发布 1.1.0 版本:支持创建 vue3 全家桶项目和 ...
- 猿创征文｜收到谷歌开发者大会正式邀请（Java学生的自学之路）
文章目录 一.前言 二.收到谷歌邮件 三.感想 四.学习之路 1. 坚持看网课并整理笔记 2.勤加练习 3.坚持总结 4.刷题技巧 5.心态调整 五.结语 一.前言 上一次通过了CSDN内部筛选后,在 ...
- 猿创征文｜2022 年我的开发者工具
猿创征文|2022 年我的开发者工具 文章目录 猿创征文|2022 年我的开发者工具 摘要 版本控制工具-Github Github Desktop git-cola SSH工具-X Shell 7 ...
- 猿创征文｜工具百宝箱-代码编辑器-版本控制工具-终端神器-项目与事务跟踪工具-SFTP客户端
工具没有绝对意义上的好坏之分,只有需求适合与否,这些需求可能包括:功能.价格.安全.服务.技术等诸多方面. 技术在更新迭代,开发者工具也在更新迭代.一个高效趁手的工具在工作上锦上添花.给大家推荐一下我 ...
- 猿创征文｜工具百宝箱-编辑器-笔记工具-日常小工具-原型设计工具
这篇文主要介绍了开发者工具之外的一些日常小工具,我用这些小工具主要完成什么工作.分享给大家 官方活动入口:「猿创征文 」第四季 | 2022 年我的开发者工具 猿创征文|工具百宝箱-代码编辑器-版本控 ...
- 猿创征文｜前路有光，初心莫忘，从编程小白，到如今小有所成，我这一路是如何走来的？
前言 无论是谁,对于编程来说,一开始看都很难看懂的,这也是为什么这个行业,属于互联网高薪行业代表的原因之一. 我是属于自学编程的非科班码农,在我看来,自学编程应该重点思考下自己的学习方式以及是否对 J ...
- 猿创征文｜我的Go成长之路道阻且长
猿创征文|我的Go成长之路道阻且长 自从2016年09月04日加入CSDN,已经整整六年了,回顾自己不太长的技术成长之路(毕竟还是00后),前前后后捣鼓过网络安全.人工智能.区块链.舆情分析.可以说是 ...
最新文章
- 100% 展示 MySQL 语句执行的神器-Optimizer Trace
- 使用ZFS的十条理由
- python【Matlibplot绘图库】曲线样式的两种设置方式（看不懂你来打我）
- Android开发之fragment之replace用法
- php的excel源码下载,PHPExcel-5 - 源码下载|Windows编程|其他小程序|源代码 - 源码中国...
- 纽约时报：昔日王者Digg能否实现中兴？【独家】
- 火绒弹窗拦截_弹窗广告的克星：火绒安全软件图文使用教程
- Feign Client 原理和使用
- HDU1799 循环多少次？【打表】
- Atlas学习手记（21）：使用行为增强用户界面（一）：Click Behavior
- 四叉树数据编码结构在电子狗中的应用
- Java Web图书管理系统总结（jsp+servlet+jdbc+javabean+dao）
- ST-Link驱动安装不正确,设备管理器黄色感叹号,win10安装stlink驱动
- CSA云安全指南V4.0 D9 D10
- 所有的 Python 库都整理
- 家用汽车维修5：换正时带和水泵
- K60的FTM的PWM、输入捕获、正交解码
- 【SEBAL模型】地面特征参数反演01--大气透射率
- BootStrap Table：表格参数
- 《基于C/S模式的android手机与PC机通信系统的开发》项目