数据预处理-数据变换-连续属性离散化实现：pandas(0.23)+sklearn(0.19.1)+matplotlib(2.2.2)

代码来源：Python数据分析与挖掘实战

源代码有如下错误：

line22: 原: data.reshape      修改后: data.values.reshape
line23: 原: sort(0)                  修改后: sort_values(0)
line24: 原: pd.rolling_mean(c, 2).iloc[1:]            修改后: pd.DataFrame.rolling(c, 2).mean().iloc[1:]
line31: 原: [j for i in d[d==j]] 修改后: [i for i in d[d==j]]

import pandas as pd
from sklearn.cluster import KMeans
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = Falsedatafile = '../data/discretization_data.xls'
data = pd.read_excel(datafile)
data = data[u'肝气郁结证型系数'].copy()
k = 4d1 = pd.cut(data, k, labels=range(k))    #等宽离散化，各个类比依次命名为0，1，2，3#等频率离散化
w = [1.0*i/k for i in range(k+1)]
w = data.describe(percentiles=w)[4:4+k+1]    #使用describe函数自动计算分位数；w = [0.0, 0.25, 0.5, 0.75, 1.0]
w[0] = w[0]*(1-1e-10)    #1e-10表示1*10的-10次方
d2 = pd.cut(data, w, labels=range(k))    #w表示等频kmodel = KMeans(n_clusters=k, n_jobs=4)    #建立模型,n_jobs是并行数，一般等于cpu数较好
kmodel.fit(data.values.reshape((len(data), 1)))    #训练模型；data.values.reshape((len(data), 1))返回值是包含于一个大数组的n个小数组，类型为ndarray
c = pd.DataFrame(kmodel.cluster_centers_).sort_values(0)    #输出聚类中心，并且排序(默认是随机排序的)；kmodel.cluster_centers_表示聚类中心坐标
w = pd.DataFrame.rolling(c, 2).mean().iloc[1:]    #相邻两项求中点，作为边界点
w = [0] + list(w[0]) + [data.max()]    #把首末边界点加上
d3 = pd.cut(data, w, labels=range(k))def cluster_plot(d, k):    #自定义做图函数来显示聚类结果plt.figure(figsize=(8, 3))    #由于这部分代码比较难理解，所以以d=d1与j=0为例说明for j in range(0, k):plt.plot(data[d==j], [i for i in d[d==j]], 'o')    #data[d1==0]表示的是data中被类比为0的数据，是x轴的数据；d1[d1==0]的取值均为0，表示y轴的值，与data[d1==0]中的值对应，一起组成下图中的线段plt.ylim(-0.5, k-0.5)    #设置当前y轴区间return pltcluster_plot(d1,k).show()
cluster_plot(d2,k).show()
cluster_plot(d3,k).show()

数据预处理-数据变换-连续属性离散化实现：pandas(0.23)+sklearn(0.19.1)+matplotlib(2.2.2)相关推荐

Py之scikit-learn：机器学习sklearn库的简介、六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类)、安装、使用方法(实际问题中如何选择最合适的机器学习算法)之详细攻略
Py之scikit-learn:机器学习sklearn库的简介(组件/版本迭代).六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类).安装.使用方法(实际问题中如何选择最合适的机器学 ...
一、数据预处理——数据归一化数据标准化
一.数据预处理--数据归一化 & 数据标准化点击标题即可获取文章相关的源代码文件哟! 1.1 数据无量纲化在机器学习算法实践中,我们往往有着将不同规格的数据转换到同一规格,或不同分布的数据 ...
python抽样_python数据预处理 :数据抽样解析
何为数据抽样: 抽样是数据处理的一种基本方法,常常伴随着计算资源不足.获取全部数据困难.时效性要求等情况使用. 抽样方法: 一般有四种方法: 随机抽样直接从整体数据中等概率抽取n个样本.这种方法优势 ...
数据预处理-数据变换-属性构造
代码来源: Python数据分析与挖掘实战 #-*- coding: utf-8 -*- #线损率属性构造import pandas as pdinputfile = '../data/electri ...
数据预处理-数据变换-规范化
为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析. 主要有:最小-最大规范化:零-均值规范化:小数定标规范化数据如下图 ...
数据预处理+数据清理
1.概述实际的数据库极易受噪声.缺失值和不一致数据的侵扰,因为数据库太大,并且多半来自多个异种数据源.低质量的数据将会导致低质量的挖掘结果.有大量的数据预处理技术: - - 数据清理:可以用来清楚数 ...
Pandas数据预处理|数据清理
Pandas数据预处理(Data Preprocess)-数据清理日期:2021/4/27 作者:就叫易易好了注:本篇文章采用的数据集为"vgsales.csv",下载链接:h ...
数据预处理 -----数据分箱
一.定义数据分箱(Binning)作为数据预处理的一部分,也被称为离散分箱或数据分段.其实分箱的概念其实很好理解,它的本质上就是把数据进行分组. 分箱就是把数据按特定的规则进行分组,实现数据的离散化 ...
超全面 pandas 数据预处理+数据概览处理技巧整理（持续更新版）
这篇文章主要是整理下使用pandas的一些技巧,因为经常不用它,这些指令忘得真的很快.前段时间在数模美赛中已经栽过跟头了,不希望以后遇到相关问题的时候还去网上查(主要是太杂了).可能读者跟我有一样的问 ...

数据预处理-数据变换-连续属性离散化实现：pandas(0.23)+sklearn(0.19.1)+matplotlib(2.2.2)

数据预处理-数据变换-连续属性离散化实现：pandas(0.23)+sklearn(0.19.1)+matplotlib(2.2.2)相关推荐

最新文章

热门文章