关于《Robust outlier detection based on the changing rate of directed density ratio》的阅读笔记

中文题目:基于有向密度比变化率的鲁棒离群检测
摘要:离群点检测任务旨在挖掘偏离正态分布的异常对象。传统的无监督离群点检测方法可以检测出大部分全局离群点,但只能在数据分布相对单一的情况下表现良好(动机1)。基于kkk-近邻的方法虽然能够拟合更复杂的数据分布,但也存在难以检测局部离群点或性能易受数据流形影响的问题(动机2)。同时,大多数基于kkk-近邻的方法的离群检测性能受参数kkk的影响较大(动机3)。这篇论文提出了一种基于有向密度比变化率的鲁棒离群检测方法。结合核密度估计和包含kkk-近邻和反向kkk-近邻的扩展近邻集来计算样本的局部密度。然后根据该密度比以及该样本与近邻样本之间的向量定义该样本的有向密度比。在不同的局部密度和数据流形下,有向密度比可以更好地估计局部信息。然后,通过增大邻居的大小,计算样本的有向密度比的变化,最终将其累加作为离群得分。在12个模拟不同数据分布的合成数据集和22个公开数据集上进行实验。实验结果表明,与几种主流(state-of-the-art)方法相比,所提方法在不同数据分布下均能取得更好的离群点检测性能。此外,在实验结果中参数kkk发生变化时,所提方法表现出较好的鲁棒性。

**关键词:**离群检测;核密度估计;扩展近邻集;有向密度比


目录

    • 关于《Robust outlier detection based on the changing rate of directed density ratio》的阅读笔记
    • @[TOC](目录)
  • 1. 引言
  • 2. 相关工作
    • 2.1. 距离法
    • 2.2. 密度法
  • 3. 所提方法
    • 3.1. 局部核密度估计
    • 3.2. 有向密度比
    • 3.4. 复杂度分析
  • 4. 实验分析
    • 4.1.数据集
    • 4.2. 对比方法
    • 4.3. 评估度量
    • 4.4. 合成数据集的实验结果与讨论
    • 4.5. 公开数据集的实验结果与讨论
    • 4.6. 实验结果和执行时间的讨论
  • 5. 结论
  • 参考文献

1. 引言

  根据Atkinson和Hawkins(1981)的定义,离群值指的是那些明显偏离正常模式的对象,以至于让人怀疑它们是由一个不同的机制产生的。一方面,由于离群点可能是由不同的机制产生,所以它们比正常样本更重要、更有趣。另一方面,离群点的存在会影响聚类等数据统计分析的结果。因此,离群检测是数据挖掘中一个基本而重要的任务。因此,离群检测是数据挖掘中一个基本而重要的任务。离群点检测在现实世界的各个领域有着广泛的应用,如检测银行账户交易中的欺诈行为、协助医生进行医疗诊断、无线传感器网络和物联网的故障检测等等。

  根据数据是否被标记,离群点检测方法可分为三类:有监督方法、半监督方法和无监督方法。有监督方法通过从标记数据中学习来构建分类模型并检测离群值。这种方法需要标记样本作为训练集,这通常很难获得或需要在现实任务中花费大量时间。半监督方法使用部分样本标签来建立模型和检测异常值。这些方法面临的挑战是如何在有限的信息下建立有效的异常点检测模型。无监督方法不需要标记样本,而是通过学习数据的底层分布机制来检测偏离正态分布的异常值。与监督和半监督方法相比,无监督离群点检测方法的研究更具挑战性。同时,由于没有标签的离群点检测任务在现实世界中广泛存在,无监督离群点检测方法的研究也更有意义。目前,离群点检测的研究主要集中在无监督领域。

  最早的无监督离群点检测多基于统计,如3

关于《Robust outlier detection based on the changing rate of directed density ratio》的阅读笔记相关推荐

  1. 文献记录(part91)--A boundary method for outlier detection based on support vector domain description

    学习笔记,仅供参考,有错必纠 关键词:离群点检测:支持向量域描述 A boundary method for outlier detection based on support vector dom ...

  2. 对比学习系列论文SimROD(二): A Simple Adaptation Method for Robust Object Detection

    0.Abstract 0.1逐句翻译 This paper presents a Simple and effective unsupervised adaptation method for Rob ...

  3. matlab 剪毛刺,MATLAB消除曲线毛刺Outlier Detection and Removal [hampel]

    MATLAB消除曲线毛刺Outlier Detection and Removal [hampel] function [YY, I, Y0, LB, UB, ADX, NO]=hampel(X, Y ...

  4. 论文阅读>烟雾检测:Smoke detection based on imageprocessing by using grey and transparency features

    文章目录 通过利用灰度和透明度特征基于图像处理的烟雾检测 摘要 关键词 1 介绍 2 颜色模型和烟雾特征分析 3 系统 3.1 烟雾检测算法 3.1.1 视频帧转换 3.1.2 运动检测和颜色变换 3 ...

  5. 自动编码(Autoencoder)器异常检测(outlier detection)实战

    自动编码(Autoencoder)器异常检测实战 异常点检测(Outlier detection),又称为离群点检测,是找出与预期对象的行为差异较大的对象的一个检测过程.这些被检测出的对象被称为异常点 ...

  6. Electric device abnormal detection based on IoT and knowledge graph-学习笔记

    Electric device abnormal detection based on IoT and knowledge graph In this paper, we propose an ele ...

  7. Outlier Detection for Improved Data Quality and Diversity in Dialog Systems-学习笔记

    Outlier Detection for Improved Data Quality and Diversity in Dialog Systems 论文按如下方式检测数据集中的异常值: 1.生成每 ...

  8. 文献记录(part94)--Clustering and outlier detection using isoperimetric number of trees

    学习笔记,仅供参考,有错必纠 关键词:Isoperimetric constant: Cheeger constant:归一化切割:图划分:感知分组:数据聚类:异常检测 文章历史:2012年7月31日 ...

  9. 文献记录(part83)--Building outlier detection ensembles by selective parameterization of ...

    学习笔记,仅供参考,有错必纠 关键词:离群点检测:集成学习:成员选择:参数化:准确性-多样性权衡 Building outlier detection ensembles by selective p ...

最新文章

  1. DL之DNN:自定义MultiLayerNet【6*100+ReLU,SGD】对MNIST数据集训练进而比较【多个超参数组合最优化】性能
  2. 杨薇天津大学计算机专业,高考志愿报得好,一生幸福少不了,遇到问题怎么办?静海一中校友来支招儿~...
  3. WordPress响应式Alt_Blog主题 简约博客主题
  4. 鸿蒙adb调试权限,真机ro.debuggable全局调试权限修改为1(Nexus 6为例)
  5. mysql的缓存机制是什么意思_MySQL缓存机制详解
  6. 《百面机器学习》读书笔记
  7. OpenSolaris系统管理
  8. Egret入门学习日记 --- 第九篇(书中 2.7~2.8节 内容)
  9. imx6ull uboot移植
  10. 如何在BIOS中设置RAID?
  11. html5播放音乐 wav,使用HTML5播放wav
  12. 用python写爬虫 (三)获取数据、requests库
  13. Win10电脑浏览器连不上网
  14. 京东云php环境配置,干货 | 京东云应用负载均衡(ALB)多功能实操
  15. 计算机中及格人数怎么算,在excel中如何计算及格率和优秀率及统计各分数段人数...
  16. 实验三 基于A*迷宫的算法
  17. Vue + Spring Boot 项目实战(四):数据库的引入
  18. Manifest merger failed : uses-sdk:minSdkVersion 15 cannot be smaller than version 19 declared in lib
  19. python函数初体验
  20. MFC 的 Picture Control 加载 BMP/PNG 图片的方法

热门文章

  1. ReactNative 深层连结
  2. 【知识星球】视频分类模型和数据集板块汇总介绍
  3. 强化学习系列(五):蒙特卡罗方法(Monte Carlo)
  4. UE4.26 Niagara Initial Mesh Orientation使用方法
  5. The server time zone value ‘�й���׼ʱ��‘ is unrecognized or represents more than one time zone
  6. 机器学习算法面经(阿里京东拼多多百度等)
  7. AlBaath Collegiate Programming Contest (2015) 总结
  8. Dream_Chaser队训练赛第一场 I题
  9. 找不到合适的工作怎么办
  10. 安卓:No static method decodeBase64,commen-code包里报错的信息