【论文阅读】Cleanits: A Data Cleaning System for Industrial Time Series

2024-04-16 08:44:26

论文来源

标题: Cleanits (Xiaoou Ding,2019)
作者: Xiaoou Ding, Hongzhi Wang, Jiaxuan Su, Zijue Li, Jianzhong Li, Hong Gao
期刊: Proceedings of the VLDB Endowment

研究问题

工业时间序列数据清洗系统
1）缺失值插补，2）匹配不一致的属性值，以及 3）异常检测和修复。
整体框架:

研究方法

匹配不一致的属性：
Cleanits中的不一致性修复解决方案首先进行分类器预测，然后将不一致的子序列与其对应的属性进行匹配。每个序列被视为具有从计算的相似度矩阵中提取的若干特征向量的分类。构建了基于随机森林的分类器，考虑到其对大规模数据的效率和对多维时间序列的高性能。
异常检测和修复：
(1)对于异常数据点修复，根据先前工作[7]中提出的序列相关性（SD）和窗口方差约束来识别意外值。
(2)在检测之后，使用基于统计的方法以及SD解决方案以我们的模型中定义的最大似然来修复异常点。

关键贡献

1）为工业时间序列开发了一个数据清洗系统Cleanits。
2）Cleanits实现了三种修复功能，有效提升多维时间序列的质量。
3) Cleanits 为用户提供了一个经过深思熟虑的界面设计来操作定制化的数据清洗。
4）在两个电厂的真机传感器数据上运行Cleanits进行系统功能演示。

研究方向

时间序列数据清洗系统

References

[1]
X. Ding, H. Wang, J. Su, Z. Li, J. Li, and H. Gao, “Cleanits,” Proc. VLDB Endow., vol. 12, no. 12, pp. 1786–1789, 2019, doi: 10.14778/3352063.3352066.

论文下载

Cleanits: A Data Cleaning System for Industrial Time Series

【论文阅读】Cleanits: A Data Cleaning System for Industrial Time Series相关推荐

论文阅读Targetless Calibration of LiDAR-IMU System Based on Continuous-time Batch Optimization（含代码解读）
原文链接: https://arxiv.org/pdf/2007.14759v1.pdf 代码地址GitHub - APRIL-ZJU/lidar_IMU_calib: Targetless Cali ...
论文阅读——A HYBRID TEXT NORMALIZATION SYSTEM USING MULTI-HEAD SELF-ATTENTION FOR MANDARIN
文章目录 0. 摘要 1. 介绍 2. 方法 2.1 基于规则的文本标准化(TN)模型 2.2 本文提出的混合TN模型 2.3 训练和推理 3. 实验 3.1 训练数据集 3.2 系统配置 3.3 模 ...
【论文阅读】A social recommender system using item asymmetric correlation
Abstract 推荐系统在近几年极大突出的信息筛选技术之一,然而,有两个主要的问题: 数据稀疏:数据太稀疏了,没办法操作冷开始:一开始数据不多(或者),推荐效果不好或无法进行有一类系统,叫做社会 ...
论文阅读 Jointly Optimize Data Augmentation and Network Training
平常的过,再过几分钟就25岁了,不知道怎么捕捉这个时刻,越来越喜欢孤独的感觉,常哭,常生气,希望未来的人会出现吧,真的要长大了 –槛外人– Abstract 随机的数据扩增对于网络训练很重要,以前的方 ...
论文阅读 Modeling Relational Data with Graph Convolutional Networks
Modeling Relational Data with Graph Convolutional Networks 使用图卷积网络建模关系数据发表于 [stat.ML] 26 Oct 2017 摘 ...
【论文阅读】LOKI-Practical Data Poisoning Attack against Next-Item Recommendation
摘要 [立意]:对next-item(top-k的首选项目)黑盒推荐的中毒攻击. [方法]:用强化学习训练攻击代理,生成有毒用户的行为样本.攻击代理与推荐模拟器交互. [推荐模拟器]:通过构建多个具有 ...
【论文阅读】Cancelable Iris recognition system based on comb filter
1. 介绍 2. 相关工作 3. Preliminaries 3.1 Gabor filter 2D Gabor滤波器起到局部带通滤波器的作用.与仅指示图像中空间频率的傅里叶变换不同,Gabor滤波器 ...
论文阅读——INSIDER：Designing In-Storage Computing System for Emerging High-Performance Drive
存算一体论文阅读之 INSIDER:Designing In-Storage Computing System for Emerging High-Performance Drive 相关代码已开源. ...
轨迹压缩文献阅读 TrajStore: An Adaptive Storage System for Very Large Trajectory Data Sets
论文:TrajStore: An adaptive storage system for very large trajectory data sets 概述 TrajStore是一种存储系统,它被设 ...

最新文章

热门文章