一把子盲读，个人理解浅显，可能存在错误，偏向行人重识别领域
计算机视觉四大基本任务（分类、定位、检测、分割）

1003.具有周期一致性的Siamese网络的自监督对象跟踪-香港科技大学

摘要

自我监督学习不需要人工注释和在线训练.

在这项工作中，我们利用一个周期一致的自我监督框架中的端到端Siamese网络进行对象跟踪.

我们建议在跟踪框架中集成Siamese区域建议（region proposal）和掩码回归网络（mask regression network）.

INTRODUCTION

视觉目标跟踪是许多应用程序的基本任务，such as 自动驾驶、机器人操作和视频监控.

目前方法仍受到视觉变化的影响.

基于深度网络的视觉目标跟踪方法需要地面真实的目标轨迹进行训练，费力和耗时，限制发展.

视觉跟踪任务是通过样本补丁的特征嵌入与搜索图像之间的相互关联来进行学习相似响应映射；
在相互关联之后区域建议或者掩码回归网络都有助于目标的准确预测.

在本文中利用前向跟踪和后向跟踪之间的一致性（其中的差异可以作为自我监督来训练），以周期一致的方式探索用于视觉目标跟踪的自监督学习.

交叉相关后的RPN可以估计出更准确的盒建议(box proposals).提升框架性能【视觉对象跟踪任务】Visual Object Tracking

给定视频序列的第一帧对象的分割掩码来预测所有剩余帧的分割.实际应用【视频分割传播任务】Video Object Segmentation Propagation

CONTRIBUTIONS
在循环一致框架中引入了Siamese区域建议网络和掩码回归网络模块，来实现更好的end-to-end自监督学习.

1004.深度互学习DML-大连理工大学

摘要

模型蒸馏是一种将知识从老师转移到学生网络的有效且广泛使用的技术，典型应用就是从功能强大的大型网络转移或者集成到小型网络，以满足低内存或快速执行的需求.

不同于模型蒸馏中静态预定义的教师和学生之间的单项转移，DML是学生在整个训练过程中协作学习和相互教授的集合.

我们的实验表明，简单的学生网络集合的相互学习是有效的，而且比从一个更强大但静态的教师中蒸馏出来的效果更好.

INTRODUCTION

深度神经网络在很多问题上都有非常先进的性能，但是其深度/宽度非常大，大量的参数限制他们在低内存或快速执行需求的使用.

将模型实现得紧凑而准确的方法有很多：明确的节俭架构设计(explicit frugal architecture)、模型压缩(model compression)、修剪(pruning)、二值化(binarisation)、模型蒸馏(model distillation).

基于蒸馏的模型重点在于训练（学习正确参数的难度）而不是网络size.

mutual learning是未经训练的学生直接经过两种损失函数的训练（传统的监督学习损失和模仿损失）效果明显优于alone.

简单来说就是，学生之间的相互学习达到的学习效果甚至不需要更强大教师的教授，但这些学生的学习进度或者叫方向是有差异的，这样进行相互学习才会不断累加增量学习.

根据同类发现并匹配每个训练实例的其他最可能的类，增加了每个学生的后验熵，有助于收敛到更健壮的最小值.（generalization）

小节点协同学习取得更好性能，
Futhermore:
适用于各种网络架构；
效率随队列中的网络数量增加而增加；
也有利于半监督学习；
高效的集成模型.

1005.一种改进的深度学习结构的人物再识别-2015

摘要

我们提出了一种同时学习特征的方法和相应的相似度度量的ReID

提出了一种深度卷积体系结构，其中包含专门设计用于解决再识别问题的层

包括一个计算交叉输入邻域差异的层，该层基于每个输入图像的中层特征捕获两个输入图像之间的局部关系，
该层输出的高级由补丁摘要特征层（patch summary feature）计算，然后在空间上集成到后续层.

在大中数据集测试效果都不错，还不容易在小数据集overfitting

INTRODUCTION

再识别是监视系统以及人机交互系统的一项重要能力

不同角度的视角和光线，会导致同一个人的两张照片看起来非常不同，也会导致不同人的照片看起来非常相似

我们的网络体系包括两个新层，① Cross-Input Neighborhood Differences② Patch Summary Features

计算邻域局部特征差异，随后的层负责总结差异

ARCHITECTURE
从两层带有最大池化的绑定卷积开始（学习一组用于比较两个输入图像的特征），再邻域差异层+特征总结层，最后接具有最大池化的卷积层+softmax输出的FCL

1006.MOAT:交替移动卷积核注意力带来强大的视觉模型-2022.10

MOAT: Alternating Mobile Convolution and Attention Brings Strong Vision Models
Official code in TensorFlow

摘要

本文介绍一个建立在移动卷积（即倒立残块）和注意力之上的神经网络家族.

不同于目前工作的堆叠独立的移动卷积和变压器块，
而是将他们合并到一个MOAT块中.

从一个标准的Transformer块开始，用一个移动卷积块(mobile convolution)替换了多层感知机(multi-layer perceptron),
在自注意(self-attention)操作之前对其进行重新排序（MBConv comes before self-attention）.

精度在ImageNet-1k,ImageNet-22k达到了 89.1% top-1.

并且，将全局注意(global attention)转换为窗口注意(window attention)，MOAT就可以应用于需要大分辨率输入的downstream tasks；
由于移动卷积的特点，MOAT还不用额外的窗口移动机制.
通过减小通道大小获得的tinyMOAT在ImageNet上优于几个基于移动设备的变压器模型.

1007.计算机视觉物理对抗性攻击研究综述

A Survey on Physical Adversarial Attack in Computer Vision

摘要

深度神经网络容易受到对抗性样本的攻击（小噪声制作的恶意样本），会误导DNNs做出错误的决定.

• 数字对抗性攻击
  一般在实验室环境下，对抗攻击算法的性能.

• 物理对抗性攻击
  侧重攻击DNN系统，由于复杂的物理环境（如亮度、遮挡等）这是一项更具挑战性的任务，
  物理对抗实例有特定的设计来克服复杂物理环境的影响

在本文中我们回顾了基于深度神经网络的计算机视觉任务中的物理对抗攻击，包括
图像识别任务、目标检测任务、语义分割

INTRODUCTION

（今天还看了一篇中南大学教授指出的第一篇科研论文常犯错误，其中提到这部分就是，“讲故事要有逻辑”，不是文献罗列，也不能过于简短）

深度神经网络广泛应用于计算机视觉、自然语言处理、语音识别等领域，比如人脸支付、自动驾驶等.

技术发展伴随着安全风险的增长：
攻击者可以通过编造恶意实例对基于深度神经网络的系统进行攻击，从而误导系统.
比如，精心设计的镜框可以绕过面部识别系统，任何戴这种眼睛的人都可以被识别为预先分配的人（哇哦还有这种攻击）

对抗实例（adversarial example），
不被人类察觉的情况下，以较小的设计噪声改变DNN-based系统的预测结果
但是最开始的研究基本都是基于数字环境下

近年来，图像识别任务、目标检测任务、语义分割等物理对抗性攻击得到不错发展，
通过对抗训练提高DNN系统的鲁棒性（robustness）

CONTRIBUTIONS
分类方案：
沿着不同的轴对物理对抗性攻击进行分类

对比：
近年来的物理对抗性攻击

可研究方向：

• 增加对抗性能

  • 构建代理模型
  • 对目标物体大小具有鲁棒性的对抗性扰动生成算法

• 提高可移植性(transferability)
  可移植性是对抗性扰动的重要特征之一，对抗性扰动是指对已有模型产生的对抗性扰动也可以欺骗未知模型；
  也有必要阐明，为什么某些对抗性扰动的可移植性差，
  以及不同目标模型间可移植性的差异.

• 对各种物理环境和对抗防御的鲁棒性

（复杂的物理环境带来意想不到的各种噪声信息和缺少，向来是计算机视觉任务的一大难点，自适应的泛化能力非常重要也非常具有挑战性.）

---

• 深度学习
  一般被任务是数据驱动（data-driven）技术，
  帮助机器理解大量数据中的模式，并使用学习到的潜在表示，对给定的任务进行推理.

• 对抗性样本（adversarial examples）
  概念最早是Szegedy等人Intriguing properties of neural networks提出的.

分类方案

静态对抗性攻击 | 动态物理攻击测试环境

targeted attacks：误导目标受害者模型输出一个预先特定的类.（比如上面提到的那个镜框吧）

non-targeted attacks：误导目标受害者模型输出原始类以外的任何类.

物理对抗实例的实现方式:

1、入侵攻击
通过hold the adversarial patch或者plane board修改目标对象，或者在目标对象上绘制对抗性伪装来修改目标对象

2、非入侵攻击
不需要攻击方修改目标对象，而是通过在目标上投射阴影或向目标发射激光来实现非侵入性物理对抗攻击

提高物理对抗攻击的技术：

1、转换异常（EOT）
约束对抗输入和干净输入之间的例外有效距离

2、NPS（Non Printability Score）(非印刷适性得分)
测量优化的对抗性扰动与普通打印（common printer）之间的颜色距离的度量
应用此约束强制对抗性样本接近预定义的可打印颜色

3、总变差范数（TV loss）

TV(r)=∑i,j((ri,j−ri+1,j)2+(ri,j−ri,j+1)2)12TV(r)=\sum_{i,j}((r_{i,j}-r_{i+1,j})^2+(r_{i,j}-r_{i,j+1})^2)^{\frac{1}{2}}TV(r)=i,j∑​((ri,j​−ri+1,j​)2+(ri,j​−ri,j+1​)2)21​
通过最小化TV®，提高摄动图像的平滑度，提高了物理可实现性

物理测试环境

没接触过相关研究，我不知道是不是翻译问题，好别扭的文字
一般过程：
首先，准备对抗性对象，例如使用彩色打印机打印对抗性贴片挂在对抗性对象上，
其次，部署传感器装置（比如RGB相机），调整相机朝向对抗性摄动对象.

根据对抗对象和传感器设备之间的差异，物理测试环境可以分为静态和动态：

• Stationary physical test
  对抗对象和传感器设备同时保持静态的

比如：为了攻击自动结账系统，对手将对抗性贴片贴在商品表面进行欺骗，结账系统输出错误的价格，给商家造成损失

• Dynamic physical test
  • 对抗物体固定而传感器装置运动
    e.g.,无人机监视
  • 对抗物体运动而传感器装置固定
    e.g.,视频监视
  • 对抗物体和传感器装置同时运动
    e.g.,自动驾驶

物理对抗性攻击最重要的原则就是：全像素智慧摄动是无效的
对抗性扰动需要嵌入环境中的特定对象，如目标对象本身或情景的附属物

图像识别任务

将输入的图像分类到特定的类别中
模拟攻击（变成特定别人）
有目标攻击

躲避攻击（反正不是自己）
无目标攻击

• 镜片的攻击
• 贴纸
• 化妆（没有研究在现实世界的效果？）
• 光投影
  校准投影仪与数字图像之间的对抗区域和颜色

目标检测任务

在图像中定位目标，同时给出被定位对象的类

• Patch-based physical adversarial attack
  细分好多种，看图能明白个大概：
  

• 可穿戴对抗性扰动

这衣服好像见哪个阿婆穿过，这是能说的吗

• 投影仪的投影
• 基于伪装的对抗纹理
  模拟物理转换（如阴影和亮度）
  • Camou
  • UPC
  • DAS
  • FCA
  • DPA
  • DTA

• 对抗红外探测器

（左）灯泡板，（右）气凝胶

• 针对天线检测
  主要针对（无人机监视）航空图像数据集上的目标检测器，还有针对遥感图像识别和检测.

• Sparse adversarial attack

语义分割任务

将每个像素划分为固定的分类集合的任务

an open problem for future research

分割任务是计算机视觉任务最进阶的
语义分割：将整张图像输入网络，使输出的空间大小和输入一致，通道数等于类别数，分别代表了各空间位置属于各类别的概率，即可以逐像素地进行分类.
实例分割：（目标检测+语义分割）先用目标检测方法将图像中的不同实例框出，再用语义分割方法在不同包围盒内进行逐像素标记.

1008.基于改进RepVGG网络的车道线检测算法-武汉理工硕士

摘要

基于可解耦训练状态与推理状态的车道线检测算法，来提高自动驾驶系统中车道线检测的速度和精度

在结构化重参数VGG（RepVGG）主干网络中引入注意力机制压缩-激励（SE）模块，增强对重要车道信息的特征提取.

并行可分离的
辅助分割分支，对局部特征进行建模以提高检测精度；
逐行检测分支，减小计算量的同时实现对遮挡或缺损车道线的检测；
偏移补偿分支，恢复细节；

多分支模型等价转换为单路模型，提速.

1009.重新审视ResNets:改进的训练和扩展策略

Revisiting ResNets: Improved Training and Scaling Strategies

代码已开源（TensorFlow）

摘要

我们发现训练和缩放策略可能比架构变化更加重要
并且证明了最佳的缩放策略q依赖于训练机制，
提出了两种新的缩放策略：

1. 在可能发生过拟合(overfitting)的机制中缩放模型深度（否则拓展宽度）：
   对于较长的 epoch 机制，深度扩展优于宽度扩展.
2. 以比之前更慢的速度扩展图像分辨率：
   较大的图像分辨率会导致性能衰减，我们建议相比以往的工作，应该逐渐增加图像分辨率.

ResNet-RS 模型在训练中使用了更少的内存，但在 TPU 上的速度是 EfficientNets 的 1.7-2.7 倍，GPU 上的速度是 EfficientNets 的 2.1-3.3 倍.

在大规模半监督学习设置下，使用 ImageNet 和额外 1.3 亿伪标注图像进行联合训练时，ResNet-RS 在 TPU 上的训练速度是 EfficienrtNet-B5 的 4.7 倍，GPU 上的速度是 EfficientNet-B5 的 5.5 倍.

1010.基于位置感知的自监督步态编码三维骨骼行人重识别方法-22年中科院

A Self-Supervised Gait Encoding Approach With Locality-Awareness for 3D Skeleton Based Person Re-Identification

摘要

本文提出自监督的步态编码方法，可以利用未标记的骨骼数据学习ReID的步态表示.

首先，通过反向重构未标记的骨骼序列来创建自我监督，这涉及到更丰富的高级语义，以获得更好的步态表示.

其次，基于运动的连续性使得同一骨架序列中相邻的骨架序列具有较高的相关性（在三维骨架数据中称为局部性），为了在自我监督学习过程中分别保持序列内和序列间的位置感知，
提出了一种位置感知注意机制和位置感知对比学习方案.

最后，利用位置感知注意(locality-aware attention)机制和对比学习(contrastive learning)方案学习到的上下文向量(context vectors).

https://github.com/Kali-Hac/Locality-Awareness-SGE

INTRODUCTION

步态常用两种方法描述：

1. 基于外观的方法，利用对齐图像序列中的人体轮廓来描述步态（体型变化和外观变化影响大）
2. 基于模型的方法，通过人体结构和人体关节的运动来模拟步态（不受尺度和视角等因素的影响）

三维骨骼模型（3D skeleton model）通过人体众多关键关节的是三维坐标来描述人体

手工标注的骨骼描述器需要很多其他学科知识的支撑，而基于深度神经网络一般都要基于监督学习.

那么本文通过首先创建用于步态编码的自我监督信号，从未标记的骨骼数据中学习步态表示，并促进学习更丰富的高级语义（比如，序列顺序、身体部位运动）和更具有鉴别性的步态特征，也就是利用骨架序列的反向重建作为一个主要的自我监督学习目标.

并且，定义了序列内局部性和序列间局部性（内与间相关性都比较高），由此在自监督学习中引入位置感知，以实现更好的三维骨骼重建和步态编码.（基于对比注意的步态编码，CAGEs）

2020年的初版H. Rao, S. Wang, X. Hu, M. Tan, H. Da, J. Cheng, and B. Hu, “Self-supervised gait encoding with locality-aware attention for person re-identification,” in Proc. 29th Int. Joint Conf. Artif. Intell., 2020,pp. 898–905.

1011.基于一致样本挖掘的双聚类协同教学的无监督行人重识别-西安交大

Dual Clustering Co-teaching with Consistent Sample Mining for Unsupervised Person Re-Identification

摘要

在无监督行人重识别中，利用两个网络促进训练的对等教学策略是一种有效的处理伪标签噪声的方法.

但是，用一组有噪声的伪标签训练两个网络，会降低两个网络的互补性，导致标签噪声积累，
针对该问题，本文提出双聚类协同教学（DCCT）方法.

具体来说：

利用两个网络提取的特征，通过不同参数的聚类->分别生成两组伪标签->训练网络.

Furthermore，动态参数双聚类（DCDP），使网络对动态变化的聚类参数具有自适应和鲁棒性.

Moreover，一致样本挖掘（CSM）方法：在训练过程中发现伪标签不变的样本，来去除潜在的噪声样本.

INTRODUCTION

主流的无监督方法主要分两个阶段:通过聚类生成伪标签->再用这些伪标签进行训练
但是这些生成的伪标签无可避免会出现噪声（可能由于外观的差别细微到错误聚类，也有可能由于遮挡、模糊而导致被错误分到不同类）

通过两个网络协同训练解决这个问题，比如ACT和MMT（用了时间平均模型，temporally average models）

受这两个网络的启发，本文提出DCCT，
用两组伪标签训练两个网络，来增加网络间的差异性和互补性.

用时间平均模型从未标记的数据集中提取特征，
根据DCDP计算不同的聚类参数
用这个参数聚类，生成两组伪标签

1012.Omni-Scale Feature Learning for Person Re-Identification

面向行人重识别的全尺度特征学习-萨里大学

OSNet特别的：

1. 全尺度特征学习
2. 轻量级

摘要

作为实例级识别问题，行人重识别依赖于识别特征，
不仅捕获不同的空间尺度，而且封装了多个尺度的任意组合.

OSNet，
通过设计一个由多个卷积特征流组成的残差块来实现的，每个卷积流在一定的尺度上检测特征.

统一聚合门（unified aggregation gate）,
动态融合多尺度特征与输入相关的信道权值；
构建块同时使用点卷积（pointwise convolution）和深度卷积(depth convolution)，
学习通道空间相关性并避免过拟合，
层层堆叠这些块，OSNet十分轻量级
代码开源

INTRODUCTION

行人重识别关键问题就是解决
类内距离过大，类间距离过小这两个问题
关键就是学习鉴别特征（discriminative features）

我们认为这些特征需要是全尺度的（omni-scales），
同质和异质尺度

在轻量化的设计上，类似于MobileNet，采用分解卷积.

• 深度可分离卷积(depth separable convolutions)
  用kernel划分卷积层为两个独立的层ReLU
  

• 全尺度残差块(omni-scale residual block)
  

ARCHITECTURE

1014.自监督学习视频理解-2021牛津大学博士论文

Self-Supervised Video Understanding-Erika Lu

本科毕设刚刚去重开，甚至比原来的方向还要顺利

Daily Reading Time-十月相关推荐

1. daily reading

   操作系统: 让CPU满载,设备驱动,内存管理,线程调度 内存直接存取,不足点:(地址空间不隔离,内存效率低--内存不够要经常换入换出, 程序运行地址不确定), 解决,用虚拟内存方式 ,CPU-> ...

2. 李喆：程序员到底怎么了

     李喆:程序员到底怎么了 我们是这样的一群人:每天都在"努力"的工作着,每天都和计算机打交道,泡在网上,打游戏,查资料,发微博.可是有一天,突然意识到,我们的未来在哪里,每个月那 ...

3. python-pygame与pymunk-倒塌解压金字塔

   金字塔 大家好,我是涵子.是不是很久没有更新了呢?今天,我要来为大家带来--倒塌金字塔! 百度网盘:链接: https://pan.baidu.com/s/1qTjJ0JXwYgQiF_SAAkBFD ...

4. Chrome书签整理

   这份列表是对Chrome中保存的书签的一份整理,会不定期更新,我会尽量给每个网址写一个简单的Summary,来说明这个网站的用途.当然,这些网站并不是Chrome收藏夹里的所以网站,因为一些网站可能对 ...

5. python程序的文件拓展名主要是_Python程序文件扩展名主要有________和________两种，其中后者常用于GUI程序...

   Python程序文件扩展名主要有________和________两种,其中后者常用于GUI程序 答:py:pyw: 中国大学MOOC: 下列关于我国增值税税率的表述中,不正确的是( ). 答:煤炭适 ...

6. 程序员为什么要放弃自己的岗位，考虑转行？

   程序员到底怎么了,我们当然不否认有很多出色的程序员,他们生活的好,赚的也多,可是毕竟大多数都还是一般水平,很多还是挣扎在基本满足吃住的水平.特别深的问题,比如国家社会问题(总有人会说我们的社会把我们搞 ...

7. android教育系统_适用于学生的十大教育性Android应用程序

   android教育系统 It is hard to imagine a modern student today without any electronic devices. The learnin ...

8. html5有关的英文文章,有关励志的英语文章

   励志的文章很瘦读者欢迎,因为充满了正能量,下面就是学习啦小编给大家整理的有关励志的英语文章,希望大家喜欢. 有关励志的英语文章:You Have Only One Life There are mom ...

9. A Thorough Examination of CNN/Daily Mail Reading Comprehension

   本篇是reading comprehension系列的第三篇,文章于2016年6月9号submit在arxiv上,比之前介绍的Gated-Attention Readers for Text Comp ...

最新文章

1. python功能强大的库_2018 年最受欢迎的15个顶级 Python 库
2. CentOS 7.0关闭默认防火墙启用iptables防火墙
3. 腾讯业务监控的修炼之路
4. 关于多层html标签嵌套引起CSS冲突问题的解决。
5. 全国首个人工智能专业，怎么学？
6. matlab melbankm,Matlab v_melbankm函数参数详解（英文附例）
7. 方丹丹（1981-），女，就职于宁波市智慧城市规划标准发展研究院。
8. 安卓学习笔记27：共享参数
9. LVS_DR实现过程...
10. 动态设置imageview 宽高
11. [转载] 递归函数python基例_python递归函数详解 python 递归函数使用装饰器
12. 第一次工作面试（蘑菇街）
13. 【.NET6+WPF】WPF使用prism框架+Unity IOC容器实现MVVM双向绑定和依赖注入
14. Astah Professional for Mac(UML建模工具)
15. java中double..compare_为什么Java的Double.compare(double,double)实现了它的样子？
16. 转: 诺贝尔奖得主：东亚教育浪费了太多生命
17. 快手申请快手联盟商选商标，商标注册的申请程序有哪些？
18. Geomesa-HBase索引篇——Z3索引
19. FPGA------------ SRIO通信（1）发送
20. 超级经典的人生格言(搞笑）

热门文章

1. 故障分析 | 数据库表空间被 rm 后，怎么处理
2. 三星很陶醉：爷会成为智能手机之王
3. 是的你没看错，js生成word文档
4. 安装和配置 苹果CMS v10 的记录 搭建教程
5. PsychoPy开源免费刺激呈现软件的下载与安装方法
6. 【机器智能】双十一奇迹背后：机器智能如何构建社会的全新技术设施？
7. 单键带定时雾化补水仪-DLT8P65SA
8. 第二节 控制系统的数学模型——传递函数
9. kettle 邮件服务器,kettle 实用功能之三 ---- 使用 kettle 群发动态内容的邮件。
10. Python pypinyin库，实现文字转拼音