Review KD（2）

提出的新的框架 ABF HCL

这个图呢就很直观多对一很novelty

下采样看一看这个图像金字塔什么意思_：）�东东要拼命的博客-CSDN博客

金字塔反过来会好理解吧

哈哈有点抽象但好像是能看懂的

这里有点重要 较浅的特征在早期容易学习较深层次的特征对于早期的学习太复杂了

这一段是来解释一开始的图a 的

这个transform的操作

是由卷积层和插值层构造出和老师feature 相同的size（不改变老师的feature）

这个策略不是最优的 1.在不同的阶段有大量的信息（知识）

（8） i=1 j=1 ; i= 2, j= 1 2; i=3 ,j= 1 2 3

(9)交换一下顺序 j 固定教师feature 某一层 fixed

这个想法真的是很牛这个想到了确实有点思维的跳跃

很抱歉这里读不懂啊只能描述个大概

吃了个零食

为何感觉“知识蒸馏”这几年没有什么成果？ - 知乎 (zhihu.com)

Knowledge Review：知识蒸馏新解法 - 知乎 (zhihu.com)去找了一下网上的资料

这个很不错哦

自己看真的看不懂啊，如果大家能接触到一手资料那就太棒了所以一个好平台的重要性

**乎真棒这篇解释的很好啊收获了

啊尴尬了我记得我学过这个词组搭配的

This residual learning process is more stable and effective than directly letting high-level features of the studentlearned from low-level features of the teacher.

The adaptive sum is better than direct sv

It depends on the context and the specific problem you are trying to solve.

In some cases, adaptive sum may indeed be better than direct sum.

Adaptive sum refers to a method where the algorithm adjusts the summation process based on the input data,

while direct sum simply adds up all the values in a predetermined manner.

Adaptive sum can be more efficient and accurate in situations

where the values being summed have a wide range of magnitudes or if there are extreme values that can cause numerical instability.

However, in other cases, direct sum may be the better choice. For example, if the input data has a uniform range of values and there are no extreme values, direct sum may be simpler and faster to implement.

Ultimately, the choice between adaptive sum and direct sum depends on the specific requirements and constraints of your problem. It is important to carefully consider the properties of your data and the computational resources available before choosing a summation method.

效果很好

这个写法学到了 **方法比其他方法都好但是仍然我们的方法超出他一大截哈哈哈

is directly designed for detection,and works better than other methods on this task. Still, our
method outperforms it by a large margin.

架构相同或是不同的都达到了一个比较不错的涨点

The success on challeng-
ing object detection tasks demonstrates the generality and
effectiveness of our method. 不过这也是我想搞知识蒸馏的原因吧是个通用的部件

用实验证明

弟子不必不如师师不必贤于弟子

完结撒花

Review KD（2）相关推荐

review——C# （6）虚方法和覆写方法
FROM P125 在上一节中看到,当使用基类引用访问派生类对象时,得到的是基类的成员.虚方法可以使基类的引用访问"升至"派生类内. 可以使用基类引用调用派生类(derived c ...
review——C# （15）转换
FROM P286 1.数字的转换 1.1溢出检测上下文显示转换可能会丢失数据并且不能在目标类型中同等地表示源值.对于整数类型,C#给我们提供了选择运行时是否应该在进行类型转换时检测结果溢出的能力. ...
解决Review Manager（RM）很卡的方法（方法来源网络）
1.断网(禁用网络连接,拔网线等均行,看你喜欢): 2.利用Windows(Win10)自带防火墙程序禁止RM联网: 控制面板-网络和internet-系统和安全-windows defender防火 ...
envi反演水质参数_科技前沿基于GOCI静止水色卫星数据的长江口及邻近海域Kd（490）遥感反演及其在机载激光测深预评估中的应用...
点击上方"溪流之海洋人生"即可订阅哦长江是我国的第一大河流,每年输入东海的悬浮泥沙含量可达1.81亿t(据大通站2000-2011年输沙量资料),巨量的悬浮泥沙在口门堆积,造成长 ...
Matlab数字图像的傅里叶变换（FFT）
查看全文 http://www.taodudu.cc/news/show-6182241.html 相关文章: 使用matlab对图像进行傅里叶变换 [ MATLAB ]离散傅里叶变换(DFT)以及逆 ...
UnicodeEncodeError：#39;ascii#39;编解码器无法在位置20编码字符u#39;\\ xa0#39;：序数不在范围内（128）
我在处理从不同网页(在不同站点上)获取的文本中的unicode字符时遇到问题. 我正在使用BeautifulSoup. 问题是错误并非总是可重现的. 它有时可以在某些页面上使用,有时它会通过抛出Uni ...
单片机外围电路设计攻略（全）！
单片机外围电路设计之一:电阻对于电阻,想必大家都觉得简单,没有什么好说的.其实电阻的应该还是非常广泛的,在不同的应用场合其作用是完全不同的.本人将总结其基本用法,及容易被忽略的地方. 1.概念电阻 ...
GAMES101笔记（九）
重心坐标定义,已知三角形三个顶点,那么该三角形内任何一个顶点都可以由这三个点的坐标线性表示出来,而且线性组合前面的系数满足和为1,而该点坐标就是(α,β,γ),称为重心坐标定理. 然后我们就可以利用 ...
遥感测深方法综述（三）机载雷达测深系统关键参数
下面两张图分别是CZMIL Nova和SuperNova的技术参数,从图中可以看出,与最大探测深度有关的参数是Kd ,且标称的最大深度4.X/Kd要求底质反射率大于15%. 1.海底底质对测量的影响 ...

Review KD（2）

Review KD（2）相关推荐

最新文章

热门文章