简介

数据分析基本的步骤可以分为：提出问题、导入数据、数据清洗、构建模型、数据可视化。

提出问题： 我们所想要知道的指标（平均消费额、客户的年龄分布、营业额变化趋势等等）
导入数据： 需要进行分析的原始数据（网络爬虫、数据读取等）
数据清洗： 指发现并纠正数据文件中可识别的错误（检查数据一致性，处理无效值和缺失值等）
构建模型： 针对具体的问题使用对应的数据模型找到关键指标，当我们想了解数据之间的相关性时就可以构建模型（一般使用线性回归、逻辑回归、类聚算法等）
数据可视化： 将结果以图表形式呈现

1、所需要的基础知识

可以根据网站、视频、书籍等途径。

python基础： 变量、字符串、运算符、控制语句、循环、列表、元组、文件I/O、函数、异常、面向对象等；在如何创建对象即可停止python基础学习，因为已经够用了。 （建议可以去练习一些题目之类的巩固自身）
数据分析基础工具： Numpy、Pandas、Matplotlib这3个是基础工具。
数据建模知识： sklearn是比较适合新手的建模工具，当然还有tensorflow和pytorch可以选择。（建议使用sklearn）

2、个人推荐书籍和网站

2.1 Python基础

这部分的学习大概可以控制在一周左右的时间完成。

环境推荐： 安装Anaconda环境，其中内置Python数据分析相关的环境；在Anaconda可视化安装界面下安装notebook工具。
书籍推荐： 《Python编程：入门到实践》
视频推荐： 阿里AI天池实验室课程

2.2 Numpy基础

工具作用： 线性代数库，主要用于线性代数相关的运算。这个是Pandas、Matplotlib、Sklearn的基础工具；不能缺少的辅助！

这个工具的教程比较少，一般1天或者2天能够完成。推荐菜鸟教程或者阿里天池实验室；或者官方文档。由于资料比较少，如果可以上YouTube的话，建议去YouTube看大神讲解！！

2.3 Pandas基础

工具作用： 用于数据分析，一般会使用这个做数据清洗。

这个工具的教程也比较少，耗时1到2天。推荐极客教程或者阿里天池实验室；或者官方文档。由于资料比较少，一样上YouTube看大神讲解！

2.4 Matplotlib基础

工具作用： 用于图表的绘制，一般是用在数据可视化上；在清洗时，也可以用来看相关统计等。

这个工具的教程也是比较少的，耗时1到2天。建议YouTube上面找，或者天池课程数据可视化部分；当然这个也可以看看b站up主视频。

2.5 数据建模理论知识

理论知识这里不敢瞎哔哔，直接看天池给的理论部分，这个比较通俗易懂；还有另外一个推荐书籍是吴军的《数学之美》，神作。

2.6 数据分析实战

直接还是天池的学习网站，分别是树形分支中的数据分析实战、机器学习入门、机器学习进阶。

2.7 Sklearn基础

直接看sklearn中文文档就够了，一般只需要会用就行；这个比较容易上手。

3、Kaggle网站

介绍： 是一个国外免费提供GPU资源的网站。由于数据分析所需要消耗的计算代价比较高，因此Kaggle每周免费提供30个小时的高性能GPU服务器。

说一个概念：我的机子GPU是1050Ti，跑毕设程序要跑2周时间左右才会得到结果；而Kaggle上面只需要跑3个小时左右。

再举个比较国际统一的标准：我的机子跑mnist数据集的cnn深度模型大概需要30秒左右，而Kaggle只需要几秒的时间。

Python数据收集及分析学习相关相关推荐

python数据收集整理教案_《数据收集整理(例1)》教案
<数据收集整理(例 1 )>名师教案中原区伊河路小学褚瑞婕一.学习目标 (一)学习内容 <义务教育教科书数学> (人教版) 二年级下册第 2 页例 1 相关内容及做一做. ...
python数据收集整理教案_数据收集整理教学设计
数据收集整理教学设计在教学工作者实际的教学活动中,可能需要进行教学设计编写工作,借助教学设计可以更大幅度地提高学生各方面的能力,从而使学生获得良好的发展.那么什么样的教学设计才是好的呢?下面是小编整 ...
python数据收集整理教案_《数据收集整理》教学设计
<数据收集整理>教学设计 <数据收集整理>教学设计1 教学目标: 1.知识与技能:使学生经历简单数据的收集.整理和分析的过程,学会用统计表表示数据整理的结果,体验统计结果在不同 ...
python数据收集整理教案_(完整版)《数据收集整理(例1)》教案
<数据收集整理(例 1 )>名师教案中原区伊河路小学褚瑞婕一.学习目标 (一)学习内容 <义务教育教科书数学> (人教版) 二年级下册第 2 页例 1 相关内容及做一做. ...
python数据收集整理教案_数据收集整理教案讲解学习
一.数据收集整理第一课时教学目标初步体验数据收集. 整理. 描述的过程, 会用分类数数的方法将数据整理成简单的统计表, 初步认识统计表, 能正确填写统计表, 能从中获得简单统计的结果. 通过 ...
python数据收集整理教案_《数据收集整理》精品教案
数据收集整理教学目标 [知识技能]使学生经历数据的收集.整理. 描述和分析的过程, 能利用统计表的数据提出问题并回答问题. [数学思考]了解统计的意义,学会用简单的方法收集和整理数据. [问题解决 ...
Python数据收集入门
工作需要,临时学习一下Python,记录一些学习资料和经验 python3语言入门菜鸟教程 python3环境 Windows Python3 安装 VSCode扩展爬虫快速入门第一步:Get获 ...
python数据收集系统_玩玩Python数据采集_001
from urllib.request import urlopen from urllib.error import HTTPError, URLError from bs4 import Beau ...
1、标杆对照《数据收集工具与技术》
一.方法说明标杆对照是将实际或计划的项目实践或项目的质量标准与可比项目的实践进行比较,以便识别最佳实践,形成改进意见,并为绩效考核提供依据. 作为标杆的项目可以来自执行组织内部或外部,或者来自同一应 ...

Python数据收集及分析学习相关