学习记录609@python实现数据样本的过采样与欠采样

对于分类数据集而言，往往类别会有比较大的差异，比如分析贷款逾期的数据，往往没有逾期的数据远远大于逾期的数据，因此样本会存在不均衡的情况，这样对于数据的训练不利，因此可以使用某些方法对数据集进行调整，分为过采样和欠采样，过采样就是将少的类别变多，欠采样就是将多的类别变少，这里只给出代码，不给出每种算法的具体的原理。
具体使用欠采样还是过采样，应该视情况而定，因为数据训练需要保证数据的充足，因此如果对数据进行欠采样后，数据量明显很少，那么绝对是不能使用欠采样的。

#生成数据集
from sklearn.datasets import make_classification
from collections import Counter
X, y = make_classification(n_samples=5000, n_features=2,n_informative=2, n_redundant=0, n_repeated=0, n_classes=3, n_clusters_per_class=1, weights=[0.01, 0.05, 0.94], class_sep=0.8, random_state=0)
#随机过采样
#生成数据集
from sklearn.datasets import make_classification
from collections import Counter
X, y = make_classification(n_samples=5000, n_features=2,n_informative=2, n_redundant=0, n_repeated=0, n_classes=3, n_clusters_per_class=1, weights=[0.01, 0.05, 0.94], class_sep=0.8, random_state=0)
#随机过采样
from imblearn.over_sampling import RandomOverSampler
X_resampled, y_resampled = RandomOverSampler().fit_resample(X, y)
print ("原始y："+str(Counter(y)))
print("随机过采样后的y："+str(Counter(y_resampled)))
#SMOTE过采样及其变体
from imblearn.over_sampling import SMOTE
from imblearn.over_sampling import BorderlineSMOTE
X_resampled_smote, y_resampled_smote = SMOTE().fit_resample(X, y)
X_resampled, y_resampled = BorderlineSMOTE(kind='borderline-1').fit_resample(X, y)
X_resampled, y_resampled = BorderlineSMOTE(kind='borderline-2').fit_resample(X, y)
#ADASYN过采样
from imblearn.over_sampling import ADASYN
X_resampled_adasyn, y_resampled_adasyn = ADASYN().fit_resample(X, y)
#随机欠采样
from imblearn.under_sampling import RandomUnderSampler
X_resampled, y_resampled = RandomUnderSampler().fit_resample(X, y)
print("原始y："+str(Counter(y)))
print("随机欠采样后的y："+str(Counter(y_resampled)))
#基于k-means聚类的欠采样
from imblearn.under_sampling import ClusterCentroids
X_resampled, y_resampled = ClusterCentroids().fit_resample(X, y)
#基于最近邻算法的欠采样
from imblearn.under_sampling import RepeatedEditedNearestNeighbours
X_resampled, y_resampled = RepeatedEditedNearestNeighbours().fit_resample(X, y)
#在数据上运用一种分类器
#然后将概率低于阈值的样本剔除掉
#从而实现欠采样
from sklearn.linear_model import LogisticRegression
from imblearn.under_sampling import InstanceHardnessThreshold
lr_underS = InstanceHardnessThreshold(random_state=0, estimator=LogisticRegression())
X_resampled, y_resampled = lr_underS.fit_resample(X, y)

看下下面的结果，可以发现过采样把1和0类别的样本增加了，欠采样把2类别的样本减少了，当然这里肯定是使用过采样更好因为欠采样导致数据集太小了。

学习记录609@python实现数据样本的过采样与欠采样相关推荐

python气象数据可视化学习记录1——基于ERA5数据画风场和海平面气压填色叠加图
python气象数据可视化学习记录1--基于ERA5数据画风场和海平面气压填色叠加图 1. 写在前面 2. 图片效果 3. 逐步代码解析 3.1导入库 3.2 读取NC格式数据 3.3 对数据进行加工 ...
数据不平衡、不平衡采样、调整分类阈值、过采样、欠采样、SMOTE、EasyEnsemble、加入数据平衡的流程、代价敏感学习BalanceCascade、
数据不平衡.不平衡采样.调整分类阈值.过采样.欠采样.SMOTE.EasyEnsemble.加入数据平衡的流程.BalanceCascade.代价敏感学习目录
数据处理过采样与欠采样 SMOTE与随机采样达到样本均衡化
文章目录 ✌ 过采样与欠采样 1.✌ 采样介绍 2.✌ 过采样 2.1 随机采样: 2.2 SMOTE采样: 3.✌ 欠采样 4.✌ 代码演示 1.1 ✌ 创建数据 1.2 ✌ 随机采样 1.3 ✌ ...
Python拟合数据样本的分布
安装fitter pip install fitter 生成一段模拟数据 from scipy import stats import numpy as np # N(0,2)+N(0,10) dat ...
python 欠采样_欠采样-Python数据科学技术详解与商业项目实战精讲 - python自学网...
欠采样欠采样 Db类支持原生SQL查询操作,主要包括下面两个方法: query方法 query方法用于执行SQL查询操作,和select方法一样返回查询结果数据集(数组). 使用示例:Db::quer ...
深度学习中的采样：下采样，上采样，欠采样，过采样
一,下采样下采样:池化操作就是经典的下采样,将一张图片缩小,采用不同的方法将像素点合并从而获得更小分辨率的照片就叫做下采样. 二,上采样上采样:也叫做图像插值上采样就和下采样反过来,将一张照片放大 ...
python学习记录—— 利用再分析数据绘制天气图
1 方法数据 1.1数据数据采用1°*1°的NCEP/NCAR的再分析数据,数据格式为grib2. 数据下载地址:FNL1*1 说明:需要用邮箱注册账号,之后按需求下载具体日期的数据,每日4个时次, ...
学习记录：python GoPUP获取百度指数动态数据对比看国人野性消费
前言前几天看公众号,看到一篇文章利用GoPUP获取百度指数,做鸿星尔克崛起的数据对比感觉挺有意思的,参考一下文章也来玩玩学习学习原文:http删除我s://m删除我p.we删除我ixin.q删除我 ...
学习记录：RGBA格式数据加边框
项目场景: 最近学习使用ffmpeg在做一个视频缩略图的例子.在这里做一个记录. 在网上找了很多资料,加边框都是更改图片外围数据,这样图片会缺失一部分,不太符合我的需求. 按照这个思路,下面是一种实现 ...

学习记录609@python实现数据样本的过采样与欠采样

学习记录609@python实现数据样本的过采样与欠采样相关推荐

最新文章

热门文章