Python 数据分析师必备的入门学习路线和技能

最近几年，做的这些项目，大多与数据分析与算法应用相关。岗位虽然是算法工程师，但是与数据分析打得交道也很多，双管齐下，最后才能确保算法的落地。在几年前，我还想当然地认为做算法的就应该偏重算法研究与应用，可能数据分析相关的技术真的没那么重要，不过我很快意识到自己的错误，重新将数据分析放在一个重要的位置，去研究学习。

结合过往经历，说下自己对算法设计和数据分析工作的一些浅显体会。

1、数据分析行业的发展情况

对于算法落地而言，个人认为准确性和稳定性是最重要的。在校园时，相信老师都跟我们讲过算法的几个重要性质，比如算法的时间复杂度，空间复杂度，鲁棒性等等，都具备了这些性质的算法当然是一个好算法。

然而，实际情况是，实际场景往往比较复杂，比如，影响因素及之间的关系很复杂；数据匮乏不说，手上的数据还有一半是垃圾等等，这一系列难点，都加大了我们算法设计的难度，哪怕只是设计一个满足基本场景的算法。这使我明白，设计的算法要优先保证能得到一个正确的结果。

其次，作为工程项目，确保系统的稳定性，尽量或者上线后基本没有 bug 显得同样重要。否则，你连觉都睡不好，还提什么其他性能。所以为了稳妥起见，大部分算法设计都不会从零做起，大都会基于成熟稳定的开源框架，然后在上面扩展，开花结果。

已经说的很直白了，还没有工作的小伙伴，可以思考一下。光鲜的事物背后，未必有它真正看起来那样的光彩夺目。

2、数据分析学习路线

作为数据分析的入门课程，首先说一下入门数据科学的完整学习路线；然后，介绍数据分析中花费时间较多的：数据清理 (data munging)。

学习路线、主要任务介绍完后，接下来就要开始动手实践、实现这些任务了。Python 作为数据分析和人工智能的首选语言，介绍关于它的一些核心知识，让帮助入门者快速上手。

每个人学习一门新知识前，大都想去了解下这门知识的学习思路是怎样的，都有哪些知识是必须要学的。所以，我先把我的数据分析思维导图展现给大家，希望能抛砖引玉。

1）统计学基本知识

首先，入门数据分析需要必备一些统计学的基本知识，在这里我们简单列举几个入门级的重要概念。概率，平均值，中位数，众数，四分位数，期望，标准差，方差。在这些基本概念上，又衍生出的很多重要概念，比如协方差，相关系数等。

当然，你还得了解，事件，离散事件，连续性事件，了解数据的常见分布，比如泊松分布，正态分布等，归一化等知识。限于篇幅，在此，我就不一一展开了。我为大家推荐一本精简的这方面入门书籍，浙大盛骤等老师合编的《概率论与数理统计》这本书，大家可以有选择地学习书中的重要个概念。

2）机器学习基本算法

说统计学是一种基于事实的演绎学问，它是严谨的，可以给出确切解释的。不过，机器学习就不一样了，它是一门归纳思想的学问，比如深度学习得出的模型，你就很难解释其中的具体参数为什么取值为某某某。它的应用在于可以提供一种预测，给我们未来提供一种建设性的指导。

数据分析师需要了解机器学习的基本理论、常见的那十几种算法，这样对于我们做回归、分类、聚类分析，都是不可缺少的。

直到现在，也有很多小伙伴在公众号后台，问我，该如何入门机器学习。我通常的回答都是，先理解一种基本的算法，包括从算法的原理，公式推导，手写编码实现这个算法，可视化算法的结果。当完成整个一遍时，你也就差不多入门了，知道机器学习是怎么一回事了。

3）编程语言及工具

如果说数学是纯理论，可能只需要动脑的学问地话，计算机和它最不同的一点就是，需要动手。记得 linux 大神托瓦兹，作为世界上最著名的程序员、计算机科学家，linux 内核和 git 的主要发明人。他就曾经说过，talk is poor, show me the code.

的确，计算机属于工科学问，动手编码的能力非常重要，现在越来越多的理工科博士，也开始注重编码能力了，而且有的编码能力也是超强，写出来的代码可读性、可扩展性都很好。

数据分析和机器学习领域，同样需要能熟练使用至少一门变成语言，目前此领域，使用较多的就是 Python 和 R 语言。Python 又适合与机器学习领域，所以数据分析相关的从业人员，目前使用 Python 的也较多，当然 R 语言也不少。基于 Python 的生态环境也很不错，有很多数据科学包，比如文中提到的 NumPy、SciPy、Pandas 等等。

入行前，多多动手实践一些项目和名校的开源课程，可以驱动我们掌握它们，毕竟面对一些实际需求，这样做目标明确，自然会驱使你去掌握这些包的更多功能和 API 使用。

接下来就是数据分析的重头戏，数据整理(data munging)。

4）理解你的业务数据

我们在拿到需要分析的数据后，千万不要急于立刻开始做回归、分类、聚类分析。

第一步应该是认真理解业务数据，可以试着理解去每个特征，观察每个特征，理解它们对结果的影响程度。

然后，慢慢研究多个特征组合后，它们对结果的影响。借助上个章节提到的，常用的统计学指标，比如四分位，绘制箱形图，可以帮助我们寻找样本的取值分布。

同时，可以借助另一个强大的可视化工具：seaborn ，绘制每个特征变量间的相关系数热图 heatmap，帮助我们更好的理解数据。

5）明确各个特征的类型

明确我们的数据类型，也是数据整理阶段的必备任务之一。

如果这些数据类型不是算法部分期望的数据类型，你还得想办法编码成想要的。比如常见的数据自增列 id 这类数据，是否有必要放到你的算法模型中，因为这类数字很可能被当作数字读入。

6）找出异常数据

有时候我们的数据存在异常值，并且这种概率挺大的。这实际上会导致结果出现偏差。比如，统计中国家庭人均收入时，如果源数据里面，有王建林，马云等这种富豪，那么，人均收入的均值就会受到极大的影响，这个时候最好，绘制箱形图，看一看百分位数。因此，了解数据范围，设定最大值、最小值限度是很非常重要的。

7）不得不面对缺失值

现实生产环境中，拿到的数据恰好完整无损、没有任何缺失数据的概率，和买彩票中将的概率差不多。

数据缺失的原因太多了，业务系统版本迭代, 之前的某些字段不再使用了，自然它们的取值就变为 null 了；再或者，压根某些数据字段在抽样周期里，就是没有写入数据…

处理缺失数据，最好弄明白它们为什么缺失了，比如，像上面说道的，如果是在抽样周期里，这些字段取值缺失了，那么可以咨询业务人员，这些字段大概率会取得哪些值。

极端情况下，如果发现模型的效果受此字段影响较大，发现彻底删除此字段效果更好，那完全剔除可能是不错的选择。不过这样做也有风险，可能为模型带来更大的偏差。

8）令人头疼的数据不均衡

理论和实际总是有差距的，理论上很多算法都存在一个基本假设，即数据分布总是均匀的。这个美好的假设，在实际中，真的存在吗？很可能不是！

算法基于不均衡的数据学习出来的模型，在实际的预测集上，效果往往差于训练集上的效果。实际数据往往分布得很不均匀，存在所谓的 “长尾现象”，又称：“二八原理”。

就不均衡解决的难易程度而言，数据量越大，不均衡的问题越容易解决，相反，数据量很小，再不均衡，解决起来就比较困难了，比如典型的太空中是否有生命迹象这个事情，压根就没有太多相关的因素数据，如果某个特征的取值远多于另外一种，处理这种数据不均衡问题，就比较困难了。

所有以上 5 个方面的问题，对于一个数据分析师或数据科学家而言，都是需要认真处理对待的。限于篇幅，每个方面的详细解决技术，大家可以自行搜索相关文献和技术博客，一般大都有对应的解决措施。

文章来源：网络版权归原作者所有

上文内容不用于商业目的，如涉及知识产权问题，请权利人联系小编，我们将立即处理

Python 数据分析师必备的入门学习路线和技能相关推荐

python速成要多久2019-8-28_2019最全Python入门学习路线，不是我吹，绝对是最全
近几年Python的受欢迎程度可谓是扶摇直上,当然了学习的人也是愈来愈多.一些学习Python的小白在学习初期,总希望能够得到一份Python学习路线图,小编经过多方汇总为大家汇总了一份Python学 ...
自学python推荐书籍2019-2019最全Python入门学习路线，不是我吹，绝对是最全
近几年Python的受欢迎程度可谓是扶摇直上,当然了学习的人也是愈来愈多.一些学习Python的小白在学习初期,总希望能够得到一份Python学习路线图,小编经过多方汇总为大家汇总了一份Python学 ...
【绝对干货】Python数据分析师学习的亲身经历
今天这篇文章来聊聊如何轻松学习『Python数据分析』,我会以一个数据分析师的角度去聊聊做数据分析到底有没有必要学习编程.学习Python,如果有必要,又该如何学习才能做到毫不费力. 想象是美好的,现 ...
python 数据分析学什么-python数据分析师要学什么
数据分析师是数据师Datician['detɪʃən]的一种,指的是不同行业中,专门从事行业数据搜集.整理.分析,并依据数据做出行业研究.评估和预测的专业人员. 1.数学知识(推荐学习:Python ...
高中学历，汽修转行自学Python，月薪翻了三倍【现在是一名Python数据分析师】
我学历不高,与技术和 Python相关的工作经验也就两年.今天我想跟大家分享自己转行的故事,希望能够鼓励那些跟我一样的朋友共同前行. 后面将会聊到我个人的经历和入行故事,个人的技术成就,我 2021年 ...
深夜，学妹说她想做Python数据分析师
大家好,我是大鹏,目前是一名数据分析师. 上周末晚上,我的学妹突然约我出来喝咖啡.想起学妹在学校就一直说想转行,最近在网上捣鼓自学数据分析软件有一小段时间了.我想她不是为了叙旧. 果然来到咖啡店,她一 ...
成都python数据分析师培训_python数据分析师
企业想要在竞争激烈的市场中胜出,决策的速度和反应的效率尤为重要.根据调查显示,75%的企业在面临拟定策略时,常常无法获得实时且有根据的决策信息.什么样的数据.要透过什么样的方法,才能且实时的转变成决策 ...
python数据分析师下载_2020云开见明Python数据分析师特训营，全套课程资源下载...
课程名称 Python数据分析师特训营(python数据分析从入门到精通) 课程预期目标: 01熟练撞我python语法和常用数据结构 02熟练掌握数据分析相关库的运用 03岁数据分析相关流程和常用方 ...
优秀大数据分析师必备8大技能
什么是大数据分析师? 简而言之,大数据分析师就是使用技术技能来分析数据和报告见解的人. 通常,大数据分析师可能会使用SQL技能从公司数据库中提取数据,使用编程技能来分析该数据,然后使用沟通技巧来将其结 ...

Python 数据分析师必备的入门学习路线和技能

Python 数据分析师必备的入门学习路线和技能相关推荐

最新文章

热门文章