python数据建模工具_python数据分析工具——Pandas、StatsModels、Scikit-Learn

Pandas

Pandas是 Python下最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具,使得在 Python中处理数据非常快速和简单。 Pandas构建在 Numpy之上,它使得以 Numpy为中心的应用很容易使用。Pandas的功能非常强大,支持类似于SQL的数据增、删、查、改,并且带有丰富的数据处理函数;支持时间序列分析功能;支持灵活处理缺失数据等。

Pandas的安装相对来说比较容易,安装好 Numpy之后,就可以直接安装了,通过pip install pandas或下载源码后 python setup. py install安装均可。由于我们频繁用到读取和写入Excel,但默认的 Pandas还不能读写 Excel文件,需要安装xlrd(读)和xlwt(写)库才能支持 Excel的读写,方法如下：

pip install xrd #为 Python添加读取 Excel的功能

pip install xlwt #为 Python添加写入 Excel的功能

Pandas基本的数据结构是 Series和 Dataframe。顾名思义, Series就是序列,类似一维数组; Data Frame则是相当于一张二维的表格,类似二维数组,它的每一列都是一个 Series。为了定位 Series中的元素, Pandas提供了Index对象,每个 Series都会带有一个对应的Index,用来标记不同的元素, Index的内容不一定是数字,也可以是字母、中文等,它类似于SQL中的主键。

类似地, Data Frame相当于多个带有同样 Index的 Series的组合,每个 Seiries都带有唯一的表头,用来标识不同的 Series。举个例子：

# -*- coding:utf-8 -*-

import pandas as pd #通常用pd作为 pandas的别名。

s=pd.Series([1,2,3], index=['a','b','c']) #创建一个序列s

d=pd.DataFrame([[1,2,3],[4,5,6]], columns=['a','b','c']) #创建一个表

d2=pd.DataFrame(s) #也可以用已有的序列来创建表格

print(d.head()) #预览前5行数据

print(d.describe()) #数据基本统计量

pd.read_excel('data.xls') #读取Exce1文件,创建 Dataframe

pd.read_csv('data.csv', encoding='utf-8') #读取文本格式的数据,一般用 encoding指定编码。

StatsModels

Pandas着眼于数据的读取、处理和探索,而StatsModels则更加注重数据的统计建模分析,它使得 Python有了R语言的味道。 StatsModels支持与 Pandas进行数据交互,因此,它与 Pandas结合,成为了 Python下强大的数据挖掘组合。

安装StatsModels相当简单,既可以通过pip安装,又可以通过源码安装。对于Windows用户来说,官网上甚至已经有编译好的exe文件以供下载。如果手动安装的话,需要自行解决好依赖问题, Statmodel依赖于Pandas(当然也依赖于 Pandas所依赖的),同时还依赖于pasty(一个描述统计的库)。

下面是一个用 Stats Models来进行ADF平稳性检验的例子。

# -*- coding: utf-8 -*-

from statsmodels.tsa.stattools import adfuller as ADF #导入ADF恰验

import numpy as np

ADF.(np.random.rand(100)) #返回的结果有ADF、p值

Scikit-Learn

Scikit-Learn是 Python下强大的机器学习工具包,它提供了完善的机器学习工具箱,包括数据预处理、分类、回归、聚类、预测和模型分析等。Scikit-Learn依赖于 Numpy、 Scipy和 Matplotlib,因此,只需要提前安装好这几个库,然后安装 Scikit-Learn就基本上没有什么问题了,安装方法和之前一样,要不就是pipinstall scikit-leam安装,要不就是下载源码自己安装。

创建一个机器学习的模型很简单:

# -*- coding:utf-8 -*-

from sklearn.linear_model import Linearregression #导入线性回归模型

model= Linearregression() #建立线性回归模型

print (model)

1)所有模型提供的接口有:

model fit0:训练模型,对于监督模型来说是 fit(x,y),对于非监督模型是fit(X)。

2)监督模型提供的接口有:

model predict(xnew):预测新样本

model predict proba(Xnew):预测概率,仅对某些模型有用(比如LR)

model score:得分越高,fit越好

3)非监督模型提供的接口有:

model transform(:从数据中学到新的“基空间”

model fit transform:从数据中学到新的基并将这个数据按照这组“基”进行转换。

Scikit- Learn本身提供了一些实例数据,比较常见的有安德森鸢尾花卉数据集、手写图像数据集等。现在使用鸢尾花数据集iris写一个简单的机器学习的例子。对于这个数据集，可以阅读《R语言数据挖掘实践——数据挖掘简介》

# -*- coding:utf-8 -*-

from sklearn import datasets #导入数据集

iris= datasets.load_iris() #加载数据集

print(iris.data.shape) #查看数据集大小

from sklearn import svm #导入SVM模型

clf=svm. LinearSVC() #建立线性SVM分类器

clf.fit(iris.data,iris.target) #用数据训练模型

clf.predict([[5.0,3.6,1.3,0.25]]) #训练好模型之后,输入新的数据进行预测

clf.coef_ #查看训练好模型的参数

python数据建模工具_python数据分析工具——Pandas、StatsModels、Scikit-Learn相关推荐

python数据建模数据集_Python中的数据集
python数据建模数据集 There are useful Python packages that allow loading publicly available datasets with j ...
python数据生成可视化_Python数据分析：手把手教你用Pandas生成可视化图表
大家都知道,Matplotlib 是众多 Python 可视化包的鼻祖,也是Python最常用的标准可视化库,其功能非常强大,同时也非常复杂,想要搞明白并非易事.但自从Python进入3.0时代以后, ...
python数据分享人力资源_Python数据分析帮你清晰的了解整理员工们的工作效率和整体满意度...
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 项目背景 2018年,被称为互联网的寒冬之年.无论大小公司,纷纷走上了裁员 ...
python数据预测案例_Python数据分析及可视化实例之疾病预测（分类）
Talk is cheap , show U the code. 该源码注释比较全面,需要对SKlearn有一定的了解, 当然,你也可以把它视作黑箱,做个调包侠也是大侠, 没错,本主用Bokeh进行可 ...
python数据包分析_python | 数据分析（一）- Numpy数据包
# 导入numpy包 import numpy as np """ ***************** 一.数组操作 ***************** "&q ...
python pd Series 添加行_Python数据分析与挖掘的常用工具
Python语言:简要概括一下Python语言在数据分析.挖掘场景中常用特性: 列表(可以被修改),元组(不可以被修改) 字典(结构) 集合(同数学概念上的集合) 函数式编程(主要由lambda(). ...
数据可视化系列-06数据分析工具QuickBI
文章目录数据可视化系列-06数据分析工具QuickBI 一文介绍QuickBI Quick BI 的基本对象快速入门 Quick BI产品架构界面说明菜单栏我的看板工作台首页通过仪表板分析 ...
二十四、Python数据建模（下），禁止转载
@Author : By Runsen @Date : 2020/5/14 作者介绍:Runsen目前大三下学期,专业化学工程与工艺,大学沉迷日语,Python, Java和一系列数据分析软件.导致翘 ...
python数据分析软件_Python数据分析工具
Numpy Python没有提供数组功能,虽然列表可以完成基本的数组功能,但他不是真正的数组.Numpy内置函数处理速度是c语言级别,因此尽量使用内置函数,避免出现效率瓶颈的现象. Numpy的安装: ...

python数据建模工具_python数据分析工具——Pandas、StatsModels、Scikit-Learn

python数据建模工具_python数据分析工具——Pandas、StatsModels、Scikit-Learn相关推荐

最新文章

热门文章