收藏 | 机器学习中需要了解的 5 种采样方法
点上方蓝字计算机视觉联盟获取更多干货
在右上方 ··· 设为星标 ★,与你不见不散
仅作学术分享,不代表本公众号立场,侵权联系删除
转载于:雷锋网
AI博士笔记系列推荐
周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接
我每天都在努力学习许多算法,所以我想列出一些最常见和最常用的算法。
本文介绍了在处理数据时可以使用的一些最常见的采样技术。
简单随机抽样
假设您要选择一个群体的子集,其中该子集的每个成员被选择的概率都相等。
下面我们从一个数据集中选择 100 个采样点。
sample_df = df.sample(100)
分层采样
假设我们需要估计选举中每个候选人的平均票数。现假设该国有 3 个城镇:
A 镇有 100 万工人,
B 镇有 200 万工人,以及
C 镇有 300 万退休人员。
我们可以选择在整个人口中随机抽取一个 60 大小的样本,但在这些城镇中,随机样本可能不太平衡,因此会产生偏差,导致估计误差很大。
相反,如果我们选择从 A、B 和 C 镇分别抽取 10、20 和 30 个随机样本,那么我们可以在总样本大小相同的情况下,产生较小的估计误差。
使用 python 可以很容易地做到这一点:
from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size=0.25)
水塘采样
我喜欢这个问题陈述:
假设您有一个项目流,它长度较大且未知以至于我们只能迭代一次。
创建一个算法,从这个流中随机选择一个项目,这样每个项目都有相同的可能被选中。
我们怎么能做到这一点?
假设我们必须从无限大的流中抽取 5 个对象,且每个元素被选中的概率都相等。
import randomdef generator(max): number = 1 while number < max: number += 1 yield number# Create as stream generatorstream = generator(10000)# Doing Reservoir Sampling from the streamk=5reservoir = []for i, element in enumerate(stream): if i+1<= k: reservoir.append(element) else: probability = k/(i+1) if random.random() < probability: # Select item in stream and remove one of the k items already selected reservoir[random.choice(range(0,k))] = elementprint(reservoir)------------------------------------[1369, 4108, 9986, 828, 5589]
从数学上可以证明,在样本中,流中每个元素被选中的概率相同。这是为什么呢?
当涉及到数学问题时,从一个小问题开始思考总是有帮助的。
所以,让我们考虑一个只有 3 个项目的流,我们必须保留其中 2 个。
当我们看到第一个项目,我们把它放在清单上,因为我们的水塘有空间。在我们看到第二个项目时,我们把它放在列表中,因为我们的水塘还是有空间。
现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有 2/3 的概率将第三个项目放在清单中。
现在让我们看看第一个项目被选中的概率:
移除第一个项目的概率是项目 3 被选中的概率乘以项目 1 被随机选为水塘中 2 个要素的替代候选的概率。这个概率是:
2/3*1/2 = 1/3
因此,选择项目 1 的概率为:
1–1/3=2/3
我们可以对第二个项目使用完全相同的参数,并且可以将其扩展到多个项目。
因此,每个项目被选中的概率相同:2/3 或者用一般的公式表示为 K/N
随机欠采样和过采样
我们经常会遇到不平衡的数据集。
一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类(欠采样)中删除样本或向少数类(过采样)中添加更多示例。
让我们先创建一些不平衡数据示例。
from sklearn.datasets import make_classificationX, y = make_classification( n_classes=2, class_sep=1.5, weights=[0.9, 0.1], n_informative=3, n_redundant=1, flip_y=0, n_features=20, n_clusters_per_class=1, n_samples=100, random_state=10)X = pd.DataFrame(X)X[ target ] = y
我们现在可以使用以下方法进行随机过采样和欠采样:
num_0 = len(X[X[ target ]==0])num_1 = len(X[X[ target ]==1])print(num_0,num_1)# random undersampleundersampled_data = pd.concat([ X[X[ target ]==0].sample(num_1) , X[X[ target ]==1] ])print(len(undersampled_data))# random oversampleoversampled_data = pd.concat([ X[X[ target ]==0] , X[X[ target ]==1].sample(num_0, replace=True) ])print(len(oversampled_data))------------------------------------------------------------OUTPUT:90 1020180
使用 imbalanced-learn 进行欠采样和过采样
imbalanced-learn(imblearn)是一个用于解决不平衡数据集问题的 python 包,它提供了多种方法来进行欠采样和过采样。
a. 使用 Tomek Links 进行欠采样:
imbalanced-learn 提供的一种方法叫做 Tomek Links。Tomek Links 是邻近的两个相反类的例子。
在这个算法中,我们最终从 Tomek Links 中删除了大多数元素,这为分类器提供了一个更好的决策边界。
from imblearn.under_sampling import TomekLinks
tl = TomekLinks(return_indices=True, ratio= majority )X_tl, y_tl, id_tl = tl.fit_sample(X, y)
b. 使用 SMOTE 进行过采样:
在 SMOE(Synthetic Minority Oversampling Technique)中,我们在现有元素附近合并少数类的元素。
from imblearn.over_sampling import SMOTE
smote = SMOTE(ratio= minority )X_sm, y_sm = smote.fit_sample(X, y)
imbLearn 包中还有许多其他方法,可以用于欠采样(Cluster Centroids, NearMiss 等)和过采样(ADASYN 和 bSMOTE)。
结论
算法是数据科学的生命线。
抽样是数据科学中的一个重要课题,但我们实际上并没有讨论得足够多。
有时,一个好的抽样策略会大大推进项目的进展。错误的抽样策略可能会给我们带来错误的结果。因此,在选择抽样策略时应该小心。
via:https://towardsdatascience.com/the-5-sampling-algorithms-every-data-scientist-need-to-know-43c7bc11d17c
end
这是我的私人微信,还有少量坑位,可与相关学者研究人员交流学习
目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟
王博的公众号,欢迎关注,干货多多
王博的系列手推笔记(附高清PDF下载):
博士笔记 | 周志华《机器学习》手推笔记第一章思维导图
博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”
博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”
博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”
博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)
博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)
博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)
博士笔记 | 周志华《机器学习》手推笔记第八章(上)
博士笔记 | 周志华《机器学习》手推笔记第八章(下)
博士笔记 | 周志华《机器学习》手推笔记第九章
点个在看支持一下吧
收藏 | 机器学习中需要了解的 5 种采样方法相关推荐
- 机器学习中需要了解的 5 种采样方法
采样问题是数据科学中的常见问题,对此,WalmartLabs 的数据科学家 Rahul Agarwal 分享了数据科学家需要了解的 5 种采样方法,编译整理如下. 数据科学实际上是就是研究算法. 我每 ...
- 机器学习中处理缺失值的7种方法
机器学习中处理缺失值的7种方法 转载 | https://cloud.tencent.com/developer/article/1680427 作者 | Satyam Kumar 编译 | VK ...
- 收藏 | 机器学习中常用的5种回归损失函数
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:机器猫 AI博士笔记系列推荐 周志华<机器学习>手推 ...
- python分类分析模型_机器学习中最常见的四种分类模型
作者:Jason Brownlee 翻译:候博学 前言 机器学习是一个从训练集中学习出算法的研究领域. 分类是一项需要使用机器学习算法的任务,该算法学习如何为数据集分配类别标签. 举一个简单易懂的例子 ...
- 机器学习中的7种数据偏见
作者 | Hengtee Lim 翻译 | Katie,责编 | 晋兆雨 出品 | AI科技大本营 头图 | 付费下载于视觉中国 机器学习中的数据偏差是一种错误,其中数据集的某些元素比其他元素具有更大 ...
- 机器学习中的线性回归,你理解多少?
作者丨algorithmia 编译 | 武明利,责编丨Carol 来源 | 大数据与人工智能(ID: ai-big-data) 机器学习中的线性回归是一种来源于经典统计学的有监督学习技术.然而,随着机 ...
- 机器学习中的分类距离
https://www.toutiao.com/a6710061523777094151/ 生活中,距离通常是用于形容两个地方或两个物体之间的远近.在人工智能机器学习领域,常使用距离来衡量两个样本之间 ...
- 机器学习中的随机过程(伯努利过程与泊松过程)
1.概述 随机过程是处理包含时间以及数据序列的概率模型.比起一般的概率模型,随机过程更强调数据序列间的相关关系.长期均值和边界事件.随机过程 是一组依赖于实参数 的随机变量,一般具有时间的含义.在机 ...
- 一文介绍机器学习中的三种特征选择方法
作者 | luanhz 来源 | 小数志 导读 机器学习中的一个经典理论是:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.也正因如此,特征工程在机器学习流程中占有着重要地位.广义的特征 ...
最新文章
- python界面设计实例-Python GUI项目实战(二)主窗体的界面设计与实现
- springmvc+jsp引用本地图片文件
- ConcurrentHashMap,一个更快的HashMap
- 没有新芯片,没有“大核弹”,黄教主这次给大家带来了个PRADA
- 命令重置_学个简单命令,一秒重置账户密码
- 内录音频(Windows系统)
- 计算机文化基础清华大学PPT,数据库基础知识清华大学计算机文化基础.ppt
- 电子电路学习笔记(16)——晶振电路的电容
- 解决:3Dmax 渲染后任意点击就卡住不能点击,UI界面冻结
- 九度OJ题目1035:找出直系亲属
- python比较学生名单与签到名单查缺勤(Excel)
- uniapp开发-公众号h5、小程序、移动app
- 【UE4】射线检测获取屏幕中心位置与制作瞄准准星
- 大型机、小型机、x86服务器的区别
- ROS-Academy-for-Beginners依赖包 Ubuntu20.04
- 双节锂电池充电IC的线性方案与开关方案对比
- Synchronize的底层优化(CAS,重量级锁,轻量级锁,偏向锁)
- Windows电脑系统兼容的6大设计软件分享
- 产业经济专题:产业结构高级化、合理化指数、工业化率、机构水平化及产业升级度
- 技能学习:学习使用php(tp6框架) + vue.js,开发前端全栈网站-4.跨域且传输数据,并优化后端接口
热门文章
- pythonpyqt5线程暂停重启时间_PyQT5 停止死循环线程(监控文件是否修改)
- PHP抽象函数的依赖注入,laravel 抽象类实现接口,具体类继承抽象类,使用依赖注入,如何知道接口选择的是哪个具体实现类啊?...
- excel删除无尽空白行_【辅导员说】学好办公软件word、excel、ppt的意义
- stm32 工业按键检测_基于STM32芯片的能谱仪设计
- python 计算s= 12+ 22+ 32 +... + (10*n+2)
- server2012 asp odb数据原_异地服务器文件及数据库定时备份
- python 关闭 定时开启_Python爬虫邮箱定时自动发送
- freemodbus收藏学习网址
- HTTP----HTTP2.0新特性
- 《Windows驱动开发技术详解》之HelloDDK