深度学习第一篇论文——半监督学习Mean Teacher 的学习
最近一个月刚接触深度学习，导师给了一篇论文（mean teacher）让我先理解然后跑论文里面的代码，这个过程中我出现了很多问题，借这篇blog记录下来，也是鼓励自己接着学下去。
- Mean Teacher 的论文地址：https://arxiv.org/abs/1703.01780；
- Mean Teacher 的 GitHub 地址：https://github.com/CuriousAI/mean-teacher/
首先，拿到论文后，因为太久没有使用英语，简单的句子还能理解，出现很复杂的句子就束手无策，所以只能一句一句的翻译，深度学习里面有很多的名词需要去了解比如说softmax、卷积神经网络、半监督模型包括论文里面的 mean teacher ，有道把它翻译成“吝啬的卑鄙的老师”，当然在这里的mean其实是平均的意思，因此，只是翻译强行理解不可取，所以必须要先学习理解深度学习里面的概念。
我看的是莫烦的教程，莫烦网页https://morvanzhou.github.io/
在B站和优酷上都有，感觉莫烦的教程对我这种刚接触深度学习的菜鸟来说还是很有用的，一些概念如过拟合、欠拟合、正则化都是能简要介绍。看完了他对基本概念的介绍，手动的把论文的翻译修改一遍，这样边写边理解论文（网上也有一些推荐论文应该怎么读的blog也很有用）。虽然还不能全部理解透彻，但是已经能在自己的脑子里有一个大概的印象，论文提出了一个什么方法，解决什么问题，方法的优势在哪里，论文下面的参考文献有的也要看一看，本文对比 the Π model，Temporal Ensembling 和mean teacher，所以可以了解一下另外的模型，它们的异同点优劣点。
如果论文看得差不多，我们就可以在GitHub上下载源码了，下载下来的压缩包会一般都有pytorch和tensorflow两个版本的，用哪一个全看个人喜好。我花了两天装好了Ubuntu和配置pytorch环境（用惯了window感觉Ubuntu很难上手，不过用了一段时间还是觉得Linux比较简洁），最后还是用的tensorflow，个人感觉目前tensorflow的使用还是主流。配置tensorflow环境时候要注意下载gpu版本还是cpu版本，gpu快很多，因为实验的training_step有150000，我就去问老师要了一个gpu的服务器，服务器上的环境要自己配置，因为不会有sudo权限，就要配置属于自己的python环境，我用的是Miniconda。
下载的文件中，Readme很重要，它会包含论文的思想，以及代码实现的步骤，一开始没注意就浪费了很多时间。还有这篇论文里tensorflow实现时，要求tensorflow的版本要小于1.3，不然运行的时候就会挂掉，这个在GitHub上面有讨论，为了方便，我就直接下载了一个tensorflow-gpu 1.2.1版本的。
然后就在服务器上面跑，150000步用cpu跑了四天跑了7000+，用GPU一天就能跑完，不过我的程序对显存要求比较大，经常跑了几万步就挂掉了，因为代码里面设置了用saver保存了checkpoint，所以可以通过tf.restore从断点开始运行，我花了一个星期，研究了很多范例，最后还是会报错，错误如下：InvalidArgumentError (see above for traceback): Shape [-1,32,32,3] has negative dimensions 在stack overflow里面说这是因为没有给placeholder/images赋值导致的，但是我在所有的collection里面都没有找到保存这个变量名的tensor，就算自己重新定义赋值，依旧报错，如果有大神路过，知道这个解决方法的希望提醒我一下，感激不尽！自己打算在多看一看tensorflow的知识再写出来。
所幸之后重新执行后程序进行的还比较顺利，没有什么大的问题。可以给老师交差，还要继续学习。其实在配置环境时候会出现很多问题，也许在别人电脑上一句话解决，在你的电脑上就会花上一天不止的时间，最重要的是心态放平和，我从一开始的淡定到焦急，到崩溃，到绝望，到现在的习惯绝望，我的耐心好了不少，能不能搞出来是玄学问题，做研究就是这样，不知道能不能出来，投入了很多时间精力也许会是一场空，但是我们一直都在路上，路漫漫其修远兮，吾将上下而求索。
深度学习第一篇论文——半监督学习Mean Teacher 的学习相关推荐
- 【深度学习】生动分析半监督学习与负相关学习算法
[深度学习]生动分析半监督学习与负相关学习算法 文章目录 1 半监督学习1.1 定义1.2 半监督深度学习1.3 GAN1.4 应用 2 深度负相关学习算法2.1 负相关2.2 通俗解释 1 半监督学 ...
- 【论文写作】-我的第一篇论文形成记(投稿过程、课题来源、python与数学学习、实验设计、论文思路建立与写作、回复审稿人)
我的第一篇论文形成记 投稿过程 背景记录 课题来源-本科毕业设计 python及数学学习 实验设计 调参阶段 实验阶段 论文思路建立 论文写作 回复审稿人 总结 投稿过程 2022年12月28日 投A ...
- 全面介绍数砖开发 Delta Lake 的第一篇论文
今年八月,Delta Lake 的第一篇论文发布了,我当时写了个总体介绍:Delta Lake 第一篇论文发布了,感兴趣的朋友可以先看总体介绍,再来详细了解一下本篇论文.因为篇幅较长,全文超3万字,建 ...
- MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB
2019独角兽企业重金招聘Python工程师标准>>> MongoDB学习第一篇 --- Mac下使用HomeBrew安装MongoDB 0.确保mac已经安装了HomeBrew ( ...
- Python中的TCP的客户端UDP学习----第一篇博客
Python中的TCP的客户端&UDP学习--第一篇博客 PS: 每日的怼人句子"我真想把我的脑子放到你的身体里,让你感受一下智慧的光芒" 先说UDP流程 发送: 创建套接 ...
- 第一篇：对Adaboost和GBDT的学习
第一篇:对Adaboost和GBDT的学习 Adaboost在李航的<统计学习方法>中有,写的非常详细,大题意思就是:对未分类正确的数据加大权值,使得受到下一轮弱分类器更大的关注,对于误差 ...
- 第一篇论文：改进TCP及UDP的性能分析及比较
开始读第一篇论文:改进TCP及UDP的性能分析及比较.欢迎大家来评论噢!或者加我的qq:63245576 这篇论文在Throughput,stability,intra-protocol fairne ...
- VUE源码学习第一篇--前言
一.目的 前端技术的发展,现在以vue,react,angular为代表的MVVM模式以成为主流,这三个框架大有三分天下之势.react和angular有facebook与谷歌背书,而vue是以一己之 ...
- RISC-V学习-第一篇[指令类型]
本文是RVSC-V处理器学习的第一篇文章,对RV32IMAFDC指令集的学习笔记. 1. 运算指令 立即数运算指令 addi rd,rs1,imm[11:0] 功能 1.将rs1与12位立即数(进行符 ...
最新文章
- malloc(0)-malloc 0 字节
- php随机数字不重复,php生成N个不重复的随机数
- 2017年11月1号复习
- python如何高效办公_Python教你高效办公，自制屏幕翻译工具
- IIS Express局域网访问配置
- centos怎么启动linux系统时间,查看Centos系统最近一次启动时间和运行时间
- mac磁盘格式转换操作方法
- word外部表不是预期的格式_邮件合并为什么会出现外部表不是预期格式
- android移动端设计规范,干货｜超全面的移动端UI 设计规范整理汇总（下）
- 西门子1200控制V90伺服，西门子1200通过PN通讯控制V90伺服，程序控制采用FB285功能块
- qq出示测试软件语音聊天,腾讯qq语音聊天麦克风的[qq语音语音测试]解决方案
- 二元非洲秃鹫优化算法（Matlab代码实现）
- 高斯投影坐标正算公式详解
- php htmlpurifier,php – HtmlPurifier – 允许数据属性
- 条形码宽度大小为什么不能任意调整?是打印机问题还是软件问题？
- 哪些人不适合吃枸杞？
- 如何避免高不成低不就？ 疫情当下Java学习路线分享
- 2020春季学期哈工大软件构造学习心得一
- Android 破解APK
- 弘辽科技：拼多多dsr是什么意思？有什么用？