过采样之SMOTE算法

算法思想

SMOTE（Synthetic Minority Oversampling Technique），合成少数类过采样技术．它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别(Specific)而不够泛化(General)，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，具体如下图所示，算法流程如下。

对于少数类中每一个样本x，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻。
根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择N个样本（采样倍率），假设选择的近邻为x.
对于每一个随机选出的近邻o，分别与原样本按照公式构建新的样本。
o(new)=o+rand(0,1)∗(x−o)o(new)=o+rand(0,1)*(x-o)o(new)=o+rand(0,1)∗(x−o)

算法流程

1. 随机选定n个少类样本

2.选择其中一个少类样本X，找出它的K近邻

3.根据采样倍率N在K近邻中随机选择N个点，将N个点分别与X的连线，然后在它们的连线之间随机选择一个点，这就是新增加的样本点。

SMOTE函数的使用：

from collections import Counter
from sklearn.datasets import make_classification
from imblearn.over_sampling import SMOTE
import matplotlib.pyplot as plt
x,y = make_classification(n_classes=2, class_sep=2,
weights=[0.1, 0.9], flip_y=0,n_repeated=0,n_redundant=0,
n_features=2, n_clusters_per_class=1, n_samples=500, random_state=1)
Counter(y)
# Counter({1: 450, 0: 50})
def devide(x,y):idx_0=[]idx_1=[]for idx,i in enumerate(y):if i==0:idx_0.append(idx)if i==1:idx_1.append(idx)x_0=x[idx_0,0]y_0=x[idx_0,1]x_1=x[idx_1,0]y_1=x[idx_1,1]return x_0,y_0,x_1,y_1
def draw(x,y):x_0,y_0,x_1,y_1=devide(x,y)plt.scatter(x_0,y_0,label='class 0')plt.scatter(x_1,y_1,label='class 1')plt.xlabel('feature 0')plt.ylabel('feature 1')plt.legend()plt.show()draw(x,y)

x,y=SMOTE().fit_sample(x,y)
Counter(y)
# Counter({1: 450, 0: 450})
draw(x,y)

SMOTE算法的缺陷

该算法主要存在两方面的问题:

一是在近邻选择时,存在一定的盲目性。从上面的算法流程可以看出,在算法执行过程中,需要确定K值,即选择多少个近邻样本,这需要用户自行解决。从K值的定义可以看出,K值的下限是M值(M值为从K个近邻中随机挑选出的近邻样本的个数,且有M< K),M的大小可以根据负类样本数量、正类样本数量和数据集最后需要达到的平衡率决定。但K值的上限没有办法确定,只能根据具体的数据集去反复测试。因此如何确定K值,才能使算法达到最优这是未知的。
另外,该算法无法克服非平衡数据集的数据分布问题,容易产生分布边缘化问题。由于负类样本的分布决定了其可选择的近邻,如果一个负类样本处在负类样本集的分布边缘,则由此负类样本和相邻样本产生的“人造”样本也会处在这个边缘,且会越来越边缘化,从而模糊了正类样本和负类样本的边界,而且使边界变得越来越模糊。这种边界模糊性,虽然使数据集的平衡性得到了改善,但加大了分类算法进行分类的难度．

参考文献

https://www.cnblogs.com/wqbin/p/11117616.html

过采样之SMOTE算法相关推荐

不均衡数据集采样1——SMOTE算法（过采样）
SMOTE: Synthetic Minority Over-sampling Technique 论文地址:https://www.jair.org/index.php/jair/article/d ...
数据预处理与特征工程—1.不均衡样本集采样—SMOTE算法与ADASYN算法
文章目录一.第一种思路:平衡采样 1.SMOTE算法 2.SMOTE与RandomUnderSampler进行结合 3.Borderline-SMOTE与SVMSMOTE 4.ADASYN 5.平衡 ...
python过采样代码实现_过采样中用到的SMOTE算法
平时很多分类问题都会面对样本不均衡的问题,很多算法在这种情况下分类效果都不够理想.类不平衡(class-imbalance)是指在训练分类器中所使用的训练集的类别分布不均.比如说一个二分类问题,100 ...
类型转换与采样 || SMOTE算法
Data Transformation Attribute Types Type Conversion 复杂的编码: 简单的编码: Sampling Imbalanced Datasets SMOT ...
过采样中用到的SMOTE算法
平时很多分类问题都会面对样本不均衡的问题,很多算法在这种情况下分类效果都不够理想.类不平衡(class-imbalance)是指在训练分类器中所使用的训练集的类别分布不均.比如说一个二分类问题,100 ...
smote算法_SMOTE过采样框架+逻辑回归模型案例
一.SMOTE SMOTE(Synthetic Minority Oversampling Technique)是一种常用于缓解数据不均衡的算法.但是很多小伙伴表示在实际应用中有强烈的过拟合倾向.大多 ...
SMOTE算法代码实现-机器学习
类别不平衡问题类别不平衡问题,顾名思义,即数据集中存在某一类样本,其数量远多于或远少于其他类样本,从而导致一些机器学习模型失效的问题.例如逻辑回归即不适合处理类别不平衡问题,例如逻辑回归在欺诈检测问 ...
Python：SMOTE算法——样本不均衡时候生成新样本的算法
Python:SMOTE算法直接用python的库, imbalanced-learn imbalanced-learn is a python package offering a number ...
当常规的算法都山穷水尽之后，你可以试试python中的SMOTE算法
点击"阅读原文"直接打开[北京站 | GPU CUDA 进阶课程]报名链接沙韬伟,苏宁易购高级算法工程师. 曾任职于Hewlett-Packard.滴滴出行. 数据学院特邀讲师. ...
不均衡数据集采样2——BorderlineSMOTE算法（过采样）
论文:Borderline-SMOTE: A New Over-Sampling Method in Imbalanced Data Sets Learning https://citeseerx.i ...