正负样本比率失衡SMOTE

背景

这几天测试天池的优惠券预测数据在dnn上面会不会比集成树有较好的效果，但是正负样本差距太大，而处理这种情况的一般有欠抽样和过抽样，这里主要讲过抽样，过抽样有一种简单的方法叫随机过抽样，但是随机过抽样只是随机的复制，很容易过拟合，所以SMOTE比较好，SMOTE还有一些改进版本，更好用，这里讲一般的SMOTE即可

公式

\(x\) : 任意一个样本
\(\tilde{x}\) : \(x\)最临近的\(K\)个样本的随机一个，\(x\not= \tilde{x}\)
\[ x_{new}=x+rand(0,1)\times(\tilde{x}-x) \]

python实现

import random
from sklearn.neighbors import NearestNeighbors
import numpy as np
class Smote:def __init__(self,N=1,k=5):self.__shape=Noneself.__N=Nself.__k=kdef fit(self, samples):self.__shape=samples.shape #源样本的shape# 塑形为两位度才可以用KNNself.__samples=samples.reshape((self.__shape[0],-1)) self.__tmp_shape=self.__samples.shape# 返回值的维度self.__ret_shape=(self.__shape[0]*self.__N,)+self.__shape[1:]def transform(self):# 如果没有喂给数据，则直接返回Noneif self.__shape == None:return Noneself.__index=0 # 清零新增数据的索引self.__X = np.zeros((self.__tmp_shape[0] * self.__N, self.__tmp_shape[1])) # 构造返回的数据，具体数据待填充neighbors=NearestNeighbors(n_neighbors=self.__k).fit(self.__samples)for i in range(self.__shape[0]): # 根据每一个样本产生一个新样本# nnarray当前样本最近k个的样本的索引nnarray=neighbors.kneighbors(self.__samples[i].reshape(1,-1),return_distance=False)[0]# 根据当前样本索引和，最近k和样本生成一个新样本self.__new_one_sample(i,nnarray)return self.__X.reshape(self.__ret_shape) # 重新塑形并返回def fit_transform(self, samples):self.fit(samples)return self.transform()# 根据当前样本索引和，最近k和样本生成一个新样本def __new_one_sample(self,i,nnarray):for _ in range(self.__N):#从K个最近的样本随机挑选不同于当前样本的一个样本nn_idx=random.choice(nnarray)while (nn_idx==i):nn_idx=random.choice(nnarray)gap=self.__samples[nn_idx]-self.__samples[i]prob=random.random()# 根据公式生成新样本self.__X[self.__index]=self.__samples[i]+prob*gapself.__index+=1if __name__ == '__main__':a=np.array([[1,3,4],[2,5,6],[4,1,2],[5,1,4],[3,2,4],[5,3,5]])print("\n"*2, "测试维度为" , a.shape)print("*"*100)s=Smote()s.fit(a)print (s.transform())# 测试多维度支持b=np.zeros((10,)+a.shape)print("\n"*2, "测试维度为" , b.shape)print("*"*100)for i in range(10):b[i,:]=s.fit_transform(a)print (s.fit_transform(b))

代码的使用方法

假设你已经有label很少的数据 data (不包括label列)

s=Smote()
s.fit(data)
s.transform()

上面的实例是默认参数，可根据情况选择参数N和k
数据扩增N被，从最近的k个样本选择一个样本参考（这里 参考 这个词可能不太准确，想不出其他词）来生成样本

s=Smote(N=2, k=4)
s.fit(data)
s.transform()