论文《 FTT-NAS: Discovering Fault-Tolerant Neural Architecture》-2020-ASP-DAC**
论文链接

论文为机器翻译的，当时只想看个大概，好久以前的笔记

一、摘要及主要贡献

1.1 摘要

摘要——随着深度学习特定的嵌入式计算系统的快速发展，由深度学习驱动的应用程序正在从云走向边缘。在复杂的环境下，当将NN部署到边缘设备上时，可能会出现各种类型的故障：由大气中子和放射性杂质引起的软错误、电压不稳定、老化、温度变化和恶意攻击者。因此，在安全批评应用中在边缘计算设备上部署神经网络的安全风险现在引起了人们的关注。

在本文中，论文实现了随机位翻转、高斯和盐和胡椒故障模型，并建立了一个多目标容错神经结构搜索框架。在NAS框架之上，论文论文提出了容错神经体系结构搜索(FT-NAS)来自动发现对当今边缘设备中各种故障可靠的卷积神经网络(CNN)体系结构。

然后，论文在搜索过程中加入脂肪分子训练(FTT)，以获得更好的结果，论文之为FTT-NAS。实验表明，发现的体系结构FT-NAS-Net和FTT-NAS-Net优于其他手工设计的基线架构(58.1%/86.6%VS.10.0%/52.2%)，类似的流和参数更少。

此外，在单个故障模型下训练的体系结构也可以抵御其他故障。通过检查所发现的体系结构，论文发现已经学会了冗余的连接来保护敏感的路径。这一见解可以指导未来的容错神经结构设计，论文通过对ResNet-20-ResNet-M的修改来验证它。

1.2 主要贡献

建立了一个多目标容错神经结构搜索框架。在此基础上，提出了两种发现具有更好可靠性的神经结构的方法：FT-NAS(具有容错多目标的NAS)和FTT-NAS(具有容错多目标和容错训练的NAS)。

所发现的架构FT-NAS-网和FTT-NAS网在CIFAR-10上获得了58.1%和86.6%的准确率，远远好于没有/使用容错训练的基线（10%/52.2%）。实验还说明了论文的模型防御不同故障模型的能力。

从对已发现的FTT-NAS-网的检查中获取见解并验证它们：在体系结构中学习了冗余连接来保护这些敏感路径。这一见解可以指导未来的容错神经结构设计，论文通过对ResNet-20的修改来验证。修改后的ResNet-M优于原来的ResNet-20。

图1 NAS框架的说明。

二、论文相关

2.1 搜索空间

在每个单元格中，都有B节点，节点1和2被视为单元格的输入，这是前两个单元格的输出。以下预处理操作是指用于调整通道的再循环控制BN块。对于其他B−2节点，将选择两个输入连接并添加元素，对于每个连接，7个可能的操作为：无；跳跃连接；3x3平均（平均）池；最大3x3池；1x1单元；3x3单元逻辑单元BN块；5x5逻辑单元BN块。论文根据对手工设计的模型的简单评估来选择这些操作。

2.2 采样和装配架构

采样单元格体系结构的一个例子如图3所示。具体地说，为了采样单元架构，控制器RNN采样B−2决策块，一个针对每个节点3、···、B。在节点I的决策块中，M=2输入节点从1、−1采样，与节点I连接。然后从7个基本操作基语中采样M操作，在M连接中各采样一个。请注意，两个采样的输入节点可以是相同的节点j，这将导致从节点j到节点i的两个独立的连接。使用共享权重超网络的体系结构组装过程是简单的[23]：只要从超级网络中取出与采样架构的连接和操作类型对应的权重。

2.3 搜索可实现容错性的体系结构

为了寻找容错架构，使用干净精度和故障注入精度的加权和作为奖励来指导控制器的训练：

在搜索过程的每一个阶段，论文都可以在超级网络和控制器上分别训练单独的数据分割Dt和Dv中的共享权值。对于共享权值的训练，论文在两种不同的设置下进行了实验：没有容错训练。在进行容错训练时，论文使用干净的交叉熵损失CEC和带有故障注入的交叉熵损失CEf的加权和来训练共享的权重：

对于训练共享权重的每一步，论文使用由θ参数化的当前控制器来采样架构a，然后使用损失目标（有/没有故障注入）来更新参数。

对于训练控制器的每一步，论文从控制器中采样架构，使用共享权重组装该架构，获得验证数据分割中一批数据的奖励R。最后，利用该奖励，应用强化技术来更新控制器。

没有FTT的结果算法称为FT-NAS，有FTT的算法称为FTT-NAS。

三、试验部分

FT-NAS和FTT-NAS的结果

防御其他故障模型的能力

如表三所示，搜索空间中不同架构的可靠性性能变化很大，学习的控制器FTT-NAS-网络采样的架构优于所有随机采样架构。

架构搜索文献笔记（8）：《FTT-NAS：发现容错神经结构》相关推荐

架构搜索文献笔记（9）：《CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point》
论文< CurveLane-NAS: Unifying Lane-Sensitive Architecture Search and Adaptive Point>-2020-ECCV** ...
架构搜索文献笔记（10）：《Fast Hardware-Aware Neural Architecture Search》
***论文< Fast Hardware-Aware Neural Architecture Search>-2020-CVPR ***** 论文链接一.摘要及主要贡献 1.1 摘要论 ...
架构搜索文献笔记（11）：《ATOMNAS: FINE-GRAINED END-TO-END NEURAL ARCHITECTURE SEARCH》
论文< ATOMNAS: FINE-GRAINED END-TO-END NEURAL ARCHITECTURE SEARCH>-2020-ECCV** 论文链接 [代码链接](: htt ...
神经网络架构搜索（Neural Architecture Search, NAS）笔记
目录 (一)背景 (二)NAS流程 2.1 定义搜索空间 2.2 搜索策略 (三)加速 (四)变体及扩展 4.1 扩展到其他任务 4.2 扩展到其他超参数 (一)背景机器学习从业者被戏称为" ...
经典再读 | NASNet：神经架构搜索网络在图像分类中的表现
(图片付费下载于视觉中国) 作者 | Sik-Ho Tsang 译者 | Rachel 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) [导读]从 AutoML 到 NAS, ...
MnasNet：移动端模型的自动化神经架构搜索方法
基于AutoML方法,结合强化学习设计一种资源约束的移动端 CNN 模型MnasNet.该系统主要包括三个部分:(1)循环神经网络驱动的控制器,用于学习和采样模型的架构:(2)训练器,用于构建和训 ...
Google CVPR 2019最新成果！用神经架构搜索实现更好的目标检测
图灵TOPIA 作者:Golnaz Ghaisi等编译:刘静图灵联邦编辑部出品 4月16日,arXiv公布了一篇谷歌大脑的最新成果论文,已被CVPR 2019接收. 研究人员采用神经网络架构搜索, ...
单机玩转神经网络架构搜索(NAS) - Auto-Keras学习笔记
介绍 AutoML这个topic在机器学习领域越来越火,新的研究成果也是层出不穷.在网络架构(NAS),模型压缩(AMC),数据增强(AutoAugment),优化器设计(Neural Optimiz ...
神经架构搜索(NAS)2020最新综述：挑战与解决方案
终于把这篇NAS最新的综述整理的survey放了上来,文件比较大,内容比较多.这个NAS的survey是A Comprehensive Survey of Neural Architecture Se ...

架构搜索文献笔记（8）：《FTT-NAS：发现容错神经结构》