python 正态化_#Python数据分析/笔记

Chapter-I 准备工作

1. 什么类型的数据

结构化数据：表格性数据、多维数组、表数据（数据库）、时间序列等

现实生活中，很多数据需要转换成一种更适合分析和建模的结构化形式，才容易被分析和解读。

2. 不适合的场景

解释型语言；开发效率高；运行效率低于编译型语言（Java、C++等）……

不适用于一些要求低延迟、高资源利用率的场景，比如搭建高并发、多线程的应用，尤其是多CPU绑定线程时。

3. GIL != No Multi-threading

GIL（Global Interpreter Lock）是一种防止解释器同时执行多个Python指令的机制。但并不等于说，Python无法执行真正的多线程、并行代码。Python的C语言拓展使用本地多线程（在C或C++中）以并行方式运行代码，而不受GIL的影响，因为这些拓展无需与Python对象交互。

4. 重要的Python库

NumPy

Numerical Python，是Python数值计算的基石，提供多种数据结构、算法以及大部分涉及Python数值计算所需的接口。包括：ndarray、线性代数、傅里叶变换、C/C++拓展API等。

pandas

将表格和关系型数据库（如Sql）的灵活数据操作能力与NumPy的高性能数组计算相结合，适用于结构化、表格化数据。

特点：简化数据的重组、切块、切片、聚合、子集选择等操作，是数据清洗和预处理的重要工具。

常用对象：DataFrame（用于实现表格化的数据），Series（一种一维标签数组对象）。

IPython 与 Jupyter

IPython：更具交互性的Python解释器；Jupyter：适用于更多语言的交互式计算机工具。IPython系统目前可作为一个内核用于在Jupyter中使用Python。

SciPy

科学计算领域针对不同标准问题域的包集合。如：

scipy.integrate | 数值积分、微分方程
scipy.linalg | 线性代数、矩阵分解
scipy.optimize | 函数优化器（最小优化器）和求根算法 ……

scikit-learn

目前已成为Python编程者首选的机器学习工具包，包含如下模块：

分类：SVM、最近邻、随机森林、逻辑回归等
回归：Lasso、岭回归等
聚类：k-means、谱聚类等
降维：PCA、特征选择、矩阵分解等
模型选择：网络搜索、交叉验证、指标矩阵
预处理：特征提取、正态化

statsmodels

统计分析包，源自斯坦福大学统计学教授Jonathan Taylor利用R语言实现的各类分析模型。与scikit-learn相比，statsmodels包含经典的（高频词汇）统计学、经济学算法。其包含的模型如下：

回归模型：线性回归、通用线性模型、鲁棒线性模型、线性混合效应模型等；
方差分析（ANOVA）
时间序列分析：AR、ARMA、ARIMA、VAR等模型
非参数方法：核密度估计、核回归
统计模型结果可视化

statsmodels更专注于统计推理，提供不确定性评价和p值参数。相反，scikit-learn更专注于预测。

5. Conda & Pip

不要尝试用pip更新conda安装包，否则可能会导致环境问题。

6. 命名约定

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
import statsmodels as sm

不要一次性引入包的所有内容，类似 from numpy import * 这种实践会被同行diss的。

《利用Python进行数据分析》，Wes Mckinney著，徐敬一译，机械工业出版社