关于CNN的权重共享,CNN到底学到了什么?

CNN的fliter里的每个值都是学习出来的不是事先设定好的。
经过fliter处理后得到是特征图(feature map)
卷积减少权重参数的本质：

权重共享，不同的fliter会在某些神经元上权重共享。
到底fliter，到底CNN学到了什么？

底层的fliter学到了小块的纹理信息
高层的fliter学到了整体的信息，比如在fully connected layers中可以定向让某个神经元的值尽可能大，然后定向梯度上升得到原来的输入信息X，于是我们就可以知道每一个神经元让他兴奋度activate最高的图片是什么样子的。
那么这便是CNN探测学习到的东西。底层局部信息，高层全局信息。

什么时候使用CNN模型？
3. 有些模式要比整个图像小很多可以直接甄别。
4. 相同的模式会在期盼不同的区域出现多次。
5. 当使用CNN时考虑输入信息的特性是什么，要根据CNN的特性去设计fliter。

关于CNN的权重共享,CNN到底学到了什么?相关推荐

浅谈模型压缩之量化、剪枝、权重共享
之前陆陆续续看了许多模型压缩相关的文章,自己业务中也接触过一些相关的客户,今天周末没事做,把模型压缩相关的内容整理一下做个分享.可能更多地从科普的角度去介绍,因为我也不是专业做这方面技术的研究. 首先 ...
张俊林：BERT和Transformer到底学到了什么 | AI ProCon 2019
演讲嘉宾 | 张俊林(新浪微博机器学习团队AI Lab负责人) 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) [导读]BERT提出的这一年,也是NLP领域迅速发展的一年.学 ...
张俊林：BERT和Transformer到底学到了什么 | AI ProCon 2019
演讲嘉宾 | 张俊林(新浪微博机器学习团队AI Lab负责人) 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) [导读]BERT提出的这一年,也是NLP领域迅速发展的一年.学 ...
MixPath：基于权重共享的神经网络搜索统一方法
©PaperWeekly 原创 · 作者|陆顺学校|中科院计算所硕士研究方向|神经网络架构搜索论文标题:MixPath: A Unified Approach for One-Shot Neur ...
linux学到了什么技术,Linux到底学什么？如何学？
Linux是一套免费使用和自由传播的类Unix操作系统,是多用户.多任务.支持多线程和多CPU的操作系统.Linux继承了Unix以网络为核心的设计思想,是一个出色的性能稳定的多用户网络操作系统. 现 ...
SAP License：学习到底学什么？
随着金融危机的来临,2021年的就业形式很迷茫,国家出台了研究生扩招政策,即扩招5万人左右,现在的MBA专业也一改原来的入学条件由具有工作年限限制改为应届生也可以报名.我们在此不讨论国家的做法是否把就 ...
python和java哪个好学-到底学python好还是学java比较好哪个容易学习点
7月份编程语言排行榜 Python和Java到底谁更厉害?到底学python好还是学java比较好,哪个容易学习点! 要闻聚焦 1.2019年7月编程语言榜单公布:Python第一,Java第二但出现 ...
“软件工程”到底学什么（一）
"软件工程"到底学什么? 学弟或者准学弟是不是有这样的疑问?然后我会以我大学个人经历开始写,废话会比较多,就当看故事吧. (题外话,不喜欢看的略过)其实我当初选择软件工程是因为我从 ...
全网最全解析，少儿编程到底学的是什么？
少儿编程的发展近年来,少儿编程教育倍受社会关注,全球已经有超过24个国家在基础教育中设立了编程教育大纲. 在美国, STEAM教育已成为其素质教育的核心,编程.3D打印.机器人等新技术教育已走进了美 ...

关于CNN的权重共享,CNN到底学到了什么?

关于CNN的权重共享,CNN到底学到了什么?相关推荐

最新文章

热门文章