失效值处理

桥梁监测系统是一个复杂的系统，用于监测的传感器系统数量众多、种类不同。在采集、传输过程中由于传感器使用了较长的时间，自身出现故障的概率比较大或者在传输的过程中由于不确定的干扰或影响造成数据的失真。一般根据缺失值的数量将缺失类型分为单点失效和连续失效两种类型。

1 单点失效值处理

单点失效数据可能是由于传感器性能降低或者因为外界环境的突然变化造成数据在某个时间点上的缺失。

1) 单点失效的识别算法

相对桥梁自身的恒载，桥梁的活载(车辆重量以及所载货物的重量)所占的比率较小。在一般外界条件的冲击下，由于桥体恒载的惯性作用，各个监测的属性一般都是缓慢变化的。即数据的变化率相对较小，通过绘制监测到的数据的散点图，选择正常情况下某个属性的变化率，根据正常情况下的变化率，设置此类属性的阈值。如果监测到的数据与相邻数据点的变化率超过此阈值，我们将判断此数 据 点 为 异 常 数 据 点 。 选 取 某 一 传 感 器 采 集 到 的 正 常 数 据 序 列X={x1,x2,…xi…xn}，时间序列为 T={t1,t2…ti…tn}，xi 为 ti 时刻的数据，得到 ti时刻的数据变化率:

如果阀值取得太大，将失去门限值的作用，造成失效数据的漏判;如果取得太小，又将可能对桥梁结构正常变化造成的数据波动产生误判。同时由于不同的属性波动的状态不一样，对于不同类型的监测参数阈值选择也应该不同。通过对历史正常数据序列的分析，选取合适的阈值。产生对某个属性或几个属性的阈值序列 z={z1，z2，…zi…zn}，计算其变化率 y，、序列聚类中心值 M。

当数据状态 wi=1 时，zi 即为失效数据，是则根据前面确定的处理方法丢弃数据或者用其它数据进行填充;而当 wi=0，为正常数据。通过对 clementine 增加处理节点将此算法集成到数据流中，同时利用系统的输出界面，实现对缺失或者异常数据的自动报警。

针对单点缺失值的处理，当大部分缺失值集中在小部分记录中时，则通删除此时间段的属性的记录。当处理的时间窗很大时，比如某个季度或者某一年时，则剔除带有空格的所有记录。

当大部分缺失值集中在少数的字段上时，比如扰度的缺失值明显大于倾斜角或者索力的缺失值时，过滤掉带有大量缺失值的字段。或者使用类型节点将这些字段定位成 None。这种方法的好处是字段仍保留在数据集中，但是又排除在建模之外。

2 连续失效值处理

在传感器的自动采集过程中，可能得到的数据可能长时间为异常值，或者长时间出现没有数据值得情况，我们把此类数据失效模式称为连续失效。这种情况下一般为传感器出现故障或者传输的线路出现故障。连续失效的识别主要根据与同类传感器正常时刻的时间序列的相似性或者与与相邻位置的相同传感器关联性的分析，根据关联度的分析，来判别传感器的状态，实现故障的监测和自动报警。

对于不同的属性，衡量属性之间的密切关系的程度表示为相关系数。针对不同类型的传感器或者不同位置的传感器，由于处于同一监测系统内，采集的环境条件都一样，它们之间存在或强或弱的相关性。通过对正常条件下采集数据的分析，比较不同属性之间的相关性。当历史相关程度很高时，突然实时采集到的数据相关程度变低。或历史相关程度很低，实时采集到的数据相关程度变高时，则此时监测系统出现异常的可能性很大，因此可以通过对数据的分析，对异常进行预警。尽快排查异常的原因。同时当历史的相关程度很高时，另外的实时采集到的变量出现缺失值或明显的误差序列时，则可以通过另外的变量值对此变量值进行补全。设有 N 个不同类别的传感器，取其中任意两个传感器的采样数据分别为xi 和 xj，且 l<i，j<N，在采样时间 T 内，每个传感器有 M 次采样数据值，Xi={xi(l)，xi(2)，xi(k)，…xi(M)}，xj={xj(l)，xj(2)，…xj(k)，.xj(M)}，则定义二者在采样时间 T 内的相关系数为 C(xi，Xj)，即:

出不同传感器间的关联程度，在样本选择合理的情况下，如果桥梁结构没有损伤或受其它外部原因影响，相关性应该维持在一个合理的范围内。

《来源于科技文献，经本人分析整理，以技术会友，广交天下朋友》