Matlab中的数据预处理-归一化(mapminmax)

一、mapminmax
Process matrices by mapping row minimum and maximum values to [-1 1]

意思是将矩阵的每一行处理成[-1,1]区间，此时对于模式识别或者其他统计学来说，数据应该是每一列是一个样本，每一行是多个样本的同一维，即对于一个M*N的矩阵来说，样本的维度是M，样本数目是N，一共N列N个样本。

其主要调用形式有：

1. [Y,PS] = mapminmax(X,YMIN,YMAX)

2. [Y,PS] = mapminmax(X,FP)

3. Y = mapminmax('apply',X,PS)

4. X = mapminmax('reverse',Y,PS)

5. dx_dy = mapminmax('dx_dy',X,Y,PS)

对于1和2的调用形式来说，X是预处理的数据，Ymin和Ymax是期望的每一行的最小值与最大值，FP是一个结构体成员主要是FP.ymin, FP.ymax.这个结构体就可以代替Ymin和Ymax,1和2的处理效果一样，只不过参数的带入形式不同。

代码：

x=[2,3,4,5,6;7,8,9,10,11];
mapminmax(x,0,1)
fp.ymin=0;
fp.ymax=1;
mapminmax(x,fp)
而对于3式，在模式识别或者统计学里，PS是训练样本的数据的映射，即PS中包含了训练数据的最大值和最小值，这里的X是测试样本，对于测试样本来说，预处理应该和训练样本一致即最大值和最小值应该是训练集的最大值与最小值。假设y是测试样本，一共两个测试样本，则代码如下:

x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapminmax(x,0,1);
mapminmax('apply',y,ps)
对于4式，是预处理之后的数据进行反转得到原始数据。

x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapminmax(x,0,1);
yy=mapminmax('apply',y,ps);
mapminmax('reverse',yy,ps)

对于5式，根据给定的矩阵X、标准化矩阵Y及映射PS，获取逆向导数(reverse derivative)。如果给定的X和Y是m行n列的矩阵，那么其结果dx_dy是一个1×n结构体数组，其每个元素又是一个m×n的对角矩阵。这种用法不常用，这里不再举例。

二、mapminmax原理及其实现
mapminmax的数学公式为y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin。如果某行的数据全部相同，此时xmax=xmin，除数为0，则此时数据不变。

matlab实现为：

function [out]=myMapminmax(x,ymin,ymax)

out=(ymax-ymin).*(x-repmat(min(x,[],2),1,size(x,2)))./repmat((max(x,[],2)-min(x,[],2)),1,size(x,2))+ymin;
index=isnan(out);
out(index)=x(index);

end
注意上面的代码均假设数据x中样本是列向量。

三、mapstd 标准化
Process matrices by mapping each row's means to 0 and deviations to 1:将矩阵的每一行映射为0均值1方差的数据。

主要调用形式有：

1. [Y,PS] = mapstd(X,ymean,ystd)

2. [Y,PS] = mapstd(X,FP)

3. Y = mapstd('apply',X,PS)

4. X = mapstd('reverse',Y,PS)

5. dx_dy = mapstd('dx_dy',X,Y,PS)

和mapminmax类似的，1和2式是对数据X进行标准化，其中ymean和ystd是期望得到数据的每一行的均值和方差，同样的，我们也可以用一个结构体包含 ymean 和ystd进行带入。

x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapstd(x,0,1)
fp.ymean=0;
fp.ystd=1;
[xx,ps]=mapstd(x,fp)
3式是对测试数据进行预处理，利用训练数据中均值和方差进行处理，4式是将预处理之后的数据反转。

x=[2,3,4,5,6;7,8,9,10,11];
y=[2,3;4,5];
[xx,ps]=mapstd(x,0,1);
yy=mapstd('apply',y,ps);

mapstd('reverse',yy,ps)

四、mapstd标准化的实现
公式为y = (x-xmean)*(ystd/xstd) + ymean。如果设置的ystd=0，或某行的数据全部相同(此时xstd =0)

function [out] = myMapstd(x,ymean,ystd)
out=(x-repmat(mean(x,2),1,size(x,2)))./repmat(std(x,0,2),1,size(x,2)).*ystd+ymean;
end

五、关于mean ,std等函数的说明
mean默认是对每一列求和，mean(x,2)是对每一行求和，std函数默认求的是标准差的无偏估计，有三种用法，s = std(X)，s = std(X,flag)，s = std(X,flag,dim)

其中flag是无偏估计的参数，flag=0是无偏估计，即默认是无偏估计，flag=1是有偏估计，dim表示对第几维求方差，std(X,0,2)表示对X的每一行做无偏的标准差估计。

————————————————
版权声明：本文为CSDN博主「老子今晚不加班」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/hqh45/article/details/42965481

Matlab中的数据预处理-归一化(mapminmax)相关推荐

mapstd matlab详解,Matlab中的数据预处理-归一化(mapminmax)与标准化(mapstd)
一.mapminmax Process matrices by mapping row minimum and maximum values to [-1 1] 意思是将矩阵的每一行处理成[-1,1] ...
pandas用众数填充缺失值_【机器学习】scikit-learn中的数据预处理小结(归一化、缺失值填充、离散特征编码、连续值分箱)...
一.概述 1. 数据预处理数据预处理是从数据中检测,修改或删除不准确或不适用于模型的记录的过程可能面对的问题有:数据类型不同,比如有的是文字,有的是数字,有的含时间序列,有的连续,有的间断. 也可 ...
机器学习-特征工程中的数据预处理
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
sklearn 神经网络_sklearn中的数据预处理和特征工程
小伙伴们大家好~o(￣▽￣)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
机器学习项目中的数据预处理与数据整理之比较
要点在常见的机器学习/深度学习项目里,数据准备占去整个分析管道的60%到80%. 市场上有各种用于数据清洗和特征工程的编程语言.框架和工具.它们之间的功能有重叠,也各有权衡. 数据整理是数据预处理的 ...
sklearn中eof报错_sklearn中的数据预处理和特征工程
小伙伴们大家好~o(￣▽￣)ブ,今天我们看一下Sklearn中的数据预处理和特征工程,老规矩还是先强调一下,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你 ...
pandas用众数填充缺失值_sklearn中的数据预处理和特征工程
小伙伴们大家好~o()ブ,我是菜菜,我的开发环境是Jupyter lab,所用的库和版本大家参考: Python 3.7.1(你的版本至少要3.4以上 Scikit-learn 0.20.0 (你的版 ...
sklearn中的数据预处理方法学习汇总
文章目录 sklearn中的数据预处理方法学习一.标准化 Z-score标准化 Z-score标准化学习 Z-score标准化实现 Min-max标准化 MaxAbs标准化二.非线性转换映射到均 ...
机器学习之数据预处理——归一化，标准化
机器学习之数据预处理--归一化,标准化基础知识 1.什么是特征预处理 2.预处理方法 : 3.预处理API: 数据的标准化(normalization)和归一化数据的标准化数据归一化 1 把数变 ...
matlab将数据输出到excel中,matlab将数据保存为excel表格-怎样将MATLAB中的数据输出到excel中...
怎样将MATLAB中的数据输出到excel中? xlswrite()函数可以将matlab中数据保存到excel中,请面例子: >> data = magic(5) % 示例数据 data ...

Matlab中的数据预处理-归一化(mapminmax)

Matlab中的数据预处理-归一化(mapminmax)相关推荐

最新文章

热门文章