1.背景

项目需要，打算用python实现矩阵的去噪和归一化。用numpy这些数学库没有找到很理想的函数，所以一怒之下自己用标准库写了一个去噪和归一化的算法，效率有点低，不过还能用，大家如果有需要可以拿去。

（1）去噪算法：根据概率论的知识，如果一组数据服从正态分布，我们设均值是n，方差是v，那么对于每个离散数值有百分之九十二以上的概率会在（n-3*v,n+3*v）的区间内。所以这里的去噪功能主要是实现如果超出了区间就将这个值标记为区间所能容忍最大值。

（2）归一化：找到输入队列最大值max，最小值min。对任意一个自变量x，它的归一化数值为(x-min/max-min)。

2.实现代码

from __future__ import division
def GetAverage(mat):n=len(mat)m= width(mat) num = [0]*mfor j in range(0,m): for i in mat:num[j]=num[j]+i[j]           num[j]=num[j]/n   return numdef width(lst):i=0for j in lst[0]:i=i+1return idef GetVar(average,mat):    ListMat=[]for i in mat:    ListMat.append(list(map(lambda x: x[0]-x[1], zip(average, i))))n=len(ListMat)m= width(ListMat) num = [0]*mfor j in range(0,m): for i in ListMat:num[j]=num[j]+(i[j]*i[j])       num[j]=num[j]/n   return num def DenoisMat(mat):average=GetAverage(mat)variance=GetVar(average,mat)section=list(map(lambda x: x[0]+x[1], zip(average, variance)))    n=len(mat)m= width(mat) num = [0]*mdenoisMat=[]    for i in mat:for j in range(0,m):if i[j]>section[j]:i[j]=section[j]denoisMat.append(i)  return denoisMat                def AutoNorm(mat):   n=len(mat)m= width(mat)     MinNum=[9999999999]*mMaxNum = [0]*m    for i in mat:for j in range(0,m):if i[j]>MaxNum[j]:MaxNum[j]=i[j]for p in mat:     for q in range(0,m):if p[q]<=MinNum[q]:MinNum[q]=p[q]  section=list(map(lambda x: x[0]-x[1], zip(MaxNum, MinNum)))print sectionNormMat=[]for k in mat:     distance=list(map(lambda x: x[0]-x[1], zip(k, MinNum)))value=list(map(lambda x: x[0]/x[1], zip(distance,section)))NormMat.append(value)           return NormMat

库的实现：输入矩阵mat，

GetAverage(mat)：返回均值

GetVar(average,mat)：返回方差

DenoisMat(mat)：去噪

AutoNorm(mat)：归一化矩阵

下载地址：点击下载

/********************************

* 本文来自博客 “李博Garvin“

* 转载请标明出处:http://blog.csdn.net/buptgshengod

******************************************/

【机器学习算法-python实现】矩阵去噪以及归一化相关推荐

决策算法python_GitHub - nxety/MachineLearning_Python: 机器学习算法python实现
机器学习算法Python实现目录 1.代价函数其中: 下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近共有m条数据,其中代表我们要拟合出来的方程到真实值距离的平方,平 ...
机器学习算法 | Python实现k-近邻算法
机器学习算法 | Python实现k-近邻算法目录机器学习算法 | Python实现k-近邻算法基本介绍工作原理程序设计参考资料基本介绍 KNN,全名k近邻算法.是⼀种⾮常简单有效的机器 ...
【机器学习算法-python实现】决策树-Decision tree（1）信息熵划分数据集
1.背景决策书算法是一种逼近离散数值的分类算法,思路比较简单,而且准确率较高.国际权威的学术组织,数据挖掘国际会议ICDM (the IEEE International Conference o ...
机器学习算法---微积分与矩阵
微积分: 极限.无穷小.导数.高阶导数.泰勒级数.无穷求和.牛顿-莱布尼茨公式: 牛顿法: 线性代数: 低维到高维.高维到低维映射都有映射规则: 实例PCA: 实例解析: 相关算法思想: https: ...
【机器学习算法-python实现】PCA 主成分分析、降维
1.背景 PCA(Principal Component Analysis),PAC的作用主要是降低数据集的维度,然后挑选出主要的特征. PCA的主要思想是移动坐标轴,找到方差最大的方向上的特征值,什 ...
【机器学习算法-python实现】采样算法的简单实现
1.背景采样算法是机器学习中比较常用,也比较容易实现的(出去分层采样).常用的采样算法有以下几种(来自百度知道): 一.单纯随机抽样(simple random sampling)将调查总体 ...
【机器学习算法-python实现】Adaboost的实现(1)-单层决策树(decision stump)
(转载请注明出处:http://blog.csdn.net/buptgshengod) 1.背景上一节学习支持向量机,感觉公式都太难理解了,弄得我有点头大.不过这一章的Adaboost线比 ...
10种经典机器学习算法——Python版
klearn python API LinearRegression from sklearn.linear_model import LinearRegression # 线性回归 # module ...
【机器学习算法-python实现】逻辑回归的实现(LogicalRegression)
1.背景知识在刚刚结束的天猫大数据s1比赛中,逻辑回归是大家都普遍使用且效果不错的一种算法. (1)回归先来说说什么是回归,比如说我们有两类数据,各有50十个点 ...

【机器学习算法-python实现】矩阵去噪以及归一化

1.背景

2.实现代码

【机器学习算法-python实现】矩阵去噪以及归一化相关推荐

最新文章

热门文章