机器学习实战——数据探索之数据泄露(Data Leakage)

2024-04-25 12:21:53

1、什么是数据泄露

数据科学的中的数据泄露（Data Leakage）和其他场合涉及信息安全的数据泄漏不一样，是指一些feature不是在因果关系上顺利释预测值的‘因’，而是预测值的‘果’，存在和利用这种因果倒置的feature的现象，叫数据竞赛中的Data Leakage。

Data Leakage 基本都是竞赛主办方在准备数据或者数据采样的时候出了问题，误将与结果直接相关或存在颠倒因果关系的feature纳入了数据集。这样的纰漏，比较难以发现。

2、数据泄露的案例

Data Leakage 在数据科学竞赛中时常发生。比如这样一个案例：

在男性前列腺癌数据中，有个feature叫PROSSUG，代表着这个患者是否接受过前列腺的手术，这个feature很难说是病人患前列腺癌的‘原因’，而更像是一个标记，当然与病人是否患有前列腺癌极度相关。依靠着这样的feature训练出来的模型，肯定能够得到很好的预测结果，但对实际了解男性前列腺癌的成因，没有一点帮助。

3、如何探索数据泄露

在实际竞赛中，我们首先要对数据进行探索，观察是否存在数据泄露并处理。可以从两方面考虑：

(1) 训练集和提交的测试集中是否出现了重复的id；

(2) 训练集和提交的测试集中是否出现了除id不同，其他特征都一样的情况。

机器学习实战——数据探索之数据泄露(Data Leakage)相关推荐

机器学习实战-数据探索(变量变换、生成)
原文链接:点击打开链接 <机器学习实战-数据探索(1.变量识别:2.单变量分析:3.双变量分析)> 机器学习实战-数据探索(缺失值处理) 机器学习实战-数据探索(异常值处理) 上面三篇文章 ...
机器学习实战 | 数据探索(缺失值处理)
点击"阅读原文"直接打开[北京站 | GPU CUDA 进阶课程]报名链接接着上一篇:<机器学习实战-数据探索>介绍,机器学习更多内容可以关注github项目:mac ...
机器学习实战 | 数据探索
点击"阅读原文"直接打开[北京站 | GPU CUDA 进阶课程]报名链接数据的输入质量决定了输出的最后结果,数据的探索.预处理.特征选择.降维等特征工程占了项目的70%的时间. ...
机器学习实战 | 数据探索(变量变换、生成)
点击"阅读原文"直接打开[北京站 | GPU CUDA 进阶课程]报名链接变量变换 1.1.什么是变量变换? 在数据建模中,变换是指通过函数替换变量. 例如,通过平方/立方根或对 ...
机器学习中的数据泄露(Data Leakage)
在 Kaggle竞赛中出现过奇怪的现象:一只队伍,靠着对极个别特征feature的充分利用(被称为魔法属性),立即将对手超越,成功霸占冠军位置.然而,这可能是竞赛方数据准备过程中出现的失误,使模型沿着 ...
Python机器学习之数据探索可视化库yellowbrick
背景介绍从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维.陆续使用过plotly ...
机器学习之数据探索——数据特征分析（对比分析与统计量分析）
在数据探索工作中,作为数据特征分析的角度,对比分析.统计量分析同样是发掘数据间关系与数据特征的重要渠道. 1 对比分析对比分析是指把两个相互联系的指标进行比较,从数量上展示和说明研究对象规模的大小, ...
数据科学-通过数据探索了解我们的特征
简介对于数据科学而言,我们要做的第一件事情,必然是了解我们的数据.而在数据探索期间,pandas和matplotlib 则是我们进行数据探索的利器.本文主要分为三个部分,第一部分是利用pandas进 ...
如何理解数据科学的中的数据泄露（Data Leakage）
数据科学竞赛中有时会出现这样的奇特景观:某只队伍,靠着对极个别feature的充分利用,立即将对手超越,成功霸占冠军位置,而且与第二名的差距远超第二名与第十名的差距.然而,这些feature却不是在因 ...

最新文章

热门文章