2020，没有找到发表在哪个会议上的。。

摘要

由于机器学习组件的复杂性、非线性和参数空间大等特点，给网络物理系统的验证带来了巨大的挑战。
在这项工作中，我们提出了一个新的概率验证框架，为支持学习的CPS，它可以搜索整个(无限)空间的参数，计算出由信号时间逻辑(STL)公式捕获的导致满足或违反规范的事件
我们的技术是基于保形回归( conformal regression,?这个不太明白)，这是一种利用有限样本构造具有边际覆盖保证的预测区间的技术，不需要对分布和回归模型做任何假设。
我们的验证框架，使用正形回归，可以预测系统轨迹在不同参数集上的定量满意度值，并使用这些值来量化系统满足/违反给定STL属性的程度。
我们使用了三个可学习的CPS应用程序的案例研究来证明我们的技术可以成功地应用于参数空间的划分，并提供所需的保证级别。

Introduction

对于那些带有机器学习组件的系统，如高级驾驶辅助系统(ADAS)、自动驾驶控制器和基于神经网络的机器人控制器。由于这些是安全关键的网络物理系统，迫切需要有效和完善的验证算法[7]、[16]、[18]、[33]、[35]、[8]、[15]、[40]。但这种系统存在一些不确定性，如外部输入的环境，初始系统配置，和其他设计参数。我们将这些不确定性的空间称为参数空间，并希望使用验证技术来找到参数的范围，在此范围内，我们可以确保具有学习能力的CPS表现出高度置信度的安全行为。

目前的验证方法面临两个困难：1.进行彻底的状态空间搜索会维度爆炸；2.不能保证完全覆盖。
在这篇文章中,通过开发一个验证框架,可以搜索整个系统的参数空间Θ，来发现满足或违反给定属性的参数集，并提供概率覆盖保证。
将能够学习的CPS系统的动力学模型看作一个黑盒，一旦状态空间中的参数(初始状态？系统配置等等)确定了，就能得到一条系统轨迹。
系统属性用信号时序逻辑(STL)来定义。这是一种能够在实值连续轨迹上进行规范的形式化方式，已广泛应用于CPS中，用于严格指定需求。STL自带一种量化语义鲁棒性符合值( robust satisfaction value ，RSV)ρ，它是一个函数，能够将属性和轨迹映射成实数 ρ(φ\varphiφ,ξ\xiξ) ，如果这个实数大于0 ，就说明符合属性，负数就不符合，并且如果这个数越大，就越符合属性φ\varphiφ，反之亦然。
然后使用一种用于构造无分布预测集的通用工具–保形回归。保形回归技术可以构造在有限样本中获得有效覆盖的预测区间，而不需要对分布和潜在的回归算法做出假设。 因此，提出的算法可以利用有限的样本根据它们ρ的预测范围，将初始参数空间分成+，- 和 U，不同的子集。U是保留部分，在达到用户提供的半径阈值前还不知道它属于+ / - 。并且能够保证在+ 的区域里，符合φ\varphiφ 属性的概率能够达到 1 - α。
为了查看神经网络(NN)或n控制动态系统的精确模型，现有技术使用屏障函数、可达性分析、可满足性模块化理论(SMT)的方法或混合整数线性程序(MILP)优化器，以获得安全保证。大多数方法都提供了确定性保证，但是面临可伸缩性问题，并且对它们可以处理的模型类型有额外的限制(例如，必须是ReLU激活函数)。
而本文的方法将支持学习的CPS视为黑盒，可以在给定固定参数的情况下生成模拟，因此可以在非常广泛的CPS类上使用。此外，本文只对参数的联合分布和对应的STL属性的鲁棒值进行了推理。因此，算法的复杂性独立于模型的复杂性(除了从那些模型中获得模拟)，并且可以扩展到复杂的现实世界中支持学习的CPS。
基于统计模型检验(Statiscial Model Checking (SMC)的方法能够克服可扩展性、非线性等障碍，提供概率保证。我们在SMC技术和PAC-learning技术方面的工作的主要区别在于，我们的方法可以为任意数量的样本提供所需的概率保证级别。相反，基于SMC和PAC的方法所提供的保证是样本数量的函数。这是因为我们从系统参数到相应STL属性都对相应的鲁棒满意值建立了一个有保证的回归模型。如果回归模型较差，样本较少，那么使用保形回归中的校准步骤，预测的(因此而较差的)区间仍然可以有相同级别的置信度。
使用保形回归的主要优点是，在回归模型与数据的吻合程度和我们对高可信属性满意度区间的宽度之间进行权衡，而不是在置信程度本身。
动机分析：
1 现有的技术可伸缩性较差，通常会面临空间搜索维度爆炸或者无法完全覆盖的问题，而本文提出的方法一定能完全覆盖区域，并提供高概率的安全保证
2 文章的方法和原CPS系统是独立的，所以不需要对原系统做出任何假设限制，完全可以将CPS看成黑盒，同时复杂度也是独立的。无论系统多复杂，都不会影响保形回归的算法的复杂度。而且也只需要使用有限数量的样本就可以了。

预备知识和背景

系统、轨迹和仿真

系统的定义：系统被定义为参数化后确定轨迹的集合。也就是说一旦系统的不确定参数都知道了（如输入，初始配置等）那么参数θ的轨迹 ξθ\xi_\thetaξθ 也就确定了。
这里假设 θ\thetaθ 是一个随机值，并且服从Dθ_\thetaθ分布的概率密度函数p(θ\thetaθ)，
这里假设有一个仿真器能够在独立的轨迹上产生样本数据点.
定义1就是说，定义一个sim函数，输入是一个参数θ\thetaθ和有限的一系列时间节点，然后仿真输出对应的一系列离散系统状态sim(θ\thetaθ,ti_ii)，也就是对应的参数空间θ\thetaθ的真实轨迹状态ξθ\xi_\thetaξθ(ti_ii)，一句话就是用离散仿真采样来表示真实连续的轨迹，记为IplSim(θ\thetaθ)
信号时序逻辑（STL）简单来说就是用一些谓词定义公式来描述、规范系统在连续时间上具有的一些属性。在之前的读文章中也提到过。

表示轨迹ξ\xiξ在时间t满足φ\varphiφ属性，STL的量化语义就能用作我们要的鲁棒性符合值(RSV),它实际上是一个函数能够将属性φ\varphiφ和轨迹ξ\xiξ(t)映射为一个值。
inf是下确界，sup上确界。然后举了一个一维的例子来说明：
下面的曲线都是动力系统的x1_11(t)的轨迹，红线是不符合属性的，蓝线是符合属性的

保形回归

保形回归问题是在对联合分布D不做任何假设的情况下，从一个新的特征值Xm+1预测一个新的响应Ym+1。保形回归算法如下：

其中Reg 是回归模型，可以是线性回归，多项式回归，神经网络。计算出回归参数μ和置信区间d，对于一个新来的Xm+1，就可以进行预测：

能够保证Ym+1在预测区间里的概率是大于等于1-α的。一般的说，如果reg回归越准确，得到的残差值就会越小，那么d的长度也会越小，保形区间本质上是由(增广的)残差分布的分位数来定义的。
并且可以得出结论，样本数目越多计算出的μ和d越准确。

具有概率覆盖保证的参数搜索和分区

预备知识讲完了，这一节就来讨论如何搜索和对参数空间Θ进行分区，分出符合或者不符合给定属性 φ\varphiφ 的系统行为。准确的说，是将参数空间分成+(符合),-(不符合),U（不确定）三个子集。理想情况下，U应该接近空集的。
方法的核心就是，对θ\thetaθ和 ρ(φ\varphiφ,ξθ\xi_\thetaξθ) 建立回归模型，然后使用保形回归来训练和调整这个回归估值，从而得到一个ρ的预测区间，在这里区间里面是能够保证概率覆盖的。
如果对于一个参数空间θ，它里面所有的预测区间(上下界)ρ(φ\varphiφ,ξθ\xi_\thetaξθ) 都是正值/负值，那么它就属于θ+\theta^+θ+/θ−\theta^-θ−。如果有下界<0，上界>0就继续划分，直到完全能够区分开，或者达到用户规定的阈值，不能再区分那么就划入θU\theta^UθU。

参数与RSV的保形回归

已经给出了属性φ\varphiφ和一些θ\thetaθ，对于每一个IplSim(θ\thetaθ) 都可以根据之前的定义2计算出相应的RSV ρ(φ\varphiφ,IplSim(ξθ\xi_\thetaξθ)) .
θ 和 ρ(φ\varphiφ,IplSim(ξθ\xi_\thetaξθ)) 是服从联合分布 Dθ,ρ_{θ,ρ}θ,ρ 的。我们目标想要找到一个连续的预测区间[l,u]，使得新的符合Dθ,ρ_{θ,ρ}θ,ρ 的样本的RSV，落入[l,u]的概率是有界的。
整理一下，输入属性φ\varphiφ和m个样本以及他们的仿真结果IplSim(θ)，通过保形算法1，我们能够得到回归估值μ，置信区间d。我们使用的算法是Reg，规定的miscoverage级别是α。
所以我们可以计算θ里面所有的μ(θi_ii)，然从中选出最大的v* max和最小的v* min，又因为新输入的第m+1个样本是在Dθ,ρ_{θ,ρ}θ,ρ 中取的，所以可以得到 v* min <= μ(θm+1_{m+1}m+1)<=v*min ，因此可以得到，RSV ρm+1_{m+1}m+1 是属于区间[v *min - d, v *max + d]的。也就是如下引理：

但是因为u(θ)是非凸函数，闭合过近似算法不能计算出真正的最大最小值，所以要使用优化求解器，SMT求解器，或用于神经网络的可达性工具，来得到最优的最大最小值。优化如下：

整体算法

有了以上引理和推论，我们可以进一步得到：

对于不满足以上的情况，可以进一步将区间化小，然后计算。得到如下算法：

个人觉得这个算法有点没说清楚，就是这个继续将区间划小没有说怎么划分，二分吗？还是又均匀分成多少个区间？看后面的图应该是二分吧，还是个单维度的二分emmmm那这样感觉也没有什么让人感觉巧妙的地方。

下面这个定理就是说，对于每个被划分好的区间，里面的概率是可以保证的。

三个案例

前两个案例用带RL控制器的系统，第三个的控制器是非线性自回归移动平均(nonlinear autoregressive moving average， NARMA)神经网络控制器。都是不用Matlab的toolbox实现的。

Mountain Car

动力方程如下,x表示位置(单位米)，v表示速度，F是汽车引擎提供的力，μ摩擦系数，u是控制器：
x˙\dot{x}x˙ = v , v˙\dot{v}v˙ = -mg cos(3x) + Fmu\frac{F}{m}umFu-μx˙\dot{x}x˙
绿色的点是RL控制器能够将车开到山顶的初始条件，红色点是不能。

后面两个例子甚至都没有可视化展示，只是描述了一下实验参数和结果= =，然后给了一张表展示了一下。

【笔记】Probabilistic Verification of Learning-Enabled Cyber-Physical Systems using Conformal Regression相关推荐

cyber physical system
百度百科定义:cps全称是信息物理系统(cyber physical systems),是一个综合计算.网络和物理环境的多维复杂系统. 链接一定义:信息物理系统(Cyber physical syst ...
联邦学习笔记-《Federated Machine Learning: Concept and Applications》论文翻译个人笔记
联邦学习笔记-<Federated Machine Learning: Concept and Applications>论文翻译个人笔记摘要今天的人工智能仍然面临着两大挑战.一是在大 ...
机器学习与物理科学（五）（Machine learning and the physical sciences）
Machine learning and the physical sciences 摘要 Ⅵ.化学和材料科学( CHEMISTRY AND MATERIALS) A.基于原子环境的能量和力( Ene ...
机器学习与物理科学（三）（Machine learning and the physical sciences）
Machine learning and the physical sciences 摘要 Ⅲ.粒子物理与宇宙学( PARTICLE PHYSICS AND COSMOLOGY) A.模拟的作用(Th ...
zz[读书笔记]《Interpretable Machine Learning》
[读书笔记]<Interpretable Machine Learning> Jul 19, 2019 看到这本书,特意翻了下微博妖僧老冯_之前的一条微博,这样写道:"在机器学习 ...
论文笔记 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2
论文笔记 | 谷歌 Soft Prompt Learning ptuning -> Prefix-Tuning -> soft promt -> p tuning v2 " ...
机器学习与物理科学（一）（Machine learning and the physical sciences）
Machine learning and the physical sciences 摘要 Ⅰ.引言(INTRODUCTION) A. 机器学习相关概念( Concepts in machine le ...
Machine Learning week 6 quiz: programming assignment-Regularized Linear Regression and Bias/Variance
一.ex5.m %% Machine Learning Online Class % Exercise 5 | Regularized Linear Regression and Bias-Varia ...
图学习推荐系统综述| Graph Learning Approaches to Recommender Systems
原创张小磊机器学习与推荐算法目录 0 前言 1 摘要 2 特色 3 主要内容 4 未来方向 5 参考 0 前言还记得在知乎上回答过两个关于图的相关问题: 问题1:有必要学 ...

【笔记】Probabilistic Verification of Learning-Enabled Cyber-Physical Systems using Conformal Regression

目录

摘要