转载自：http://blog.sina.com.cn/s/blog_593af2a70101bqyo.html

Andrew ng今天来清华作报告，我就几点重要的内容，谈谈理解和想法。
    1）特征表示的粒度
       学习算法在一个什么粒度上的特征表示，才有能发挥作用？就一个图片来说，像素级的特征根本没有价值，无法进行摩托车正例和负例的区分，而如果特征是一个具有结构性（或者说有含义）的时候，比如是否具有handlebars，是否具有wheel，就很容易把正例和负例区分，学习算法才能发挥作用。
       
     2）初级（浅层）特征表示
        既然像素级的特征表示方法，没有作用，什么有作用呢？
        ng报告中说sparse coding的方法，也就是复杂图形，往往由有些基本结构组成，比如色彩可以由三原色按照一定的配比调成。ng给了一个图用64种正交的edges（可以理解成正交的基本结构）线性的表示。比如样例的x可以用1-64个edges中的三个按照0.8,0.3,0.5的权重调和而成。而其他基本edge没有贡献，因此均为0 
      

当然，如何发现这64个正交的结构，没有进一步阐明，同时后面还提出了某论文从未标注的声音中发现了20种基本的声音结构，其余的声音可以由这20种基本结构合成。

     3）结构性特征表示
        小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形如何表示呢？这就需要更高层次的特征表示，比如V2，V3。因此V1看像素级是像素级。V2看V1是像素级，这个是层次递进的，就好像高中生看初中生naive，大学生看高中生naive一样。

        
        

4）需要有多少个特征？
   我们知道需要层次的特征构建，有浅入深，但每一层该有多少个特征呢？
   ng表示，任何一种方法，只要特征足够多，效果总能提高，但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定特征越多越好。
   
    从文本来说，文本这个概念或者说一句话，一个doc表示什么意思这件事情，用什么来表示比较合适？用一个一个字嘛，我看不是，字就是像素级别了，起码应该是term，换句话说每个doc都由term构成，但这样表示概念的能力就够了嘛，可能也不够，需要再上一步，达到topic级，有了topic，再到doc就合理。但每个层次的数量差距很大，比如doc表示的概念->topic（千-万量级）->term（10万量级）->word（百万量级）。
    
    一个人在看一个doc的时候，眼睛看到的是word，由这些word在大脑里自动切词形成term，在按照概念组织的方式，先验的学习，得到topic，然后再进行高层次的learning。
    从报告还可以看出，谷歌公司在图像，声音方面投入了巨大的力量，而且机器学习，deep learning应该在图像和声音上，有巨大的机会。
     另外deep的含义就是多层神经元网络，每一层代表一种层次的概念，越往下概念的正交性越好，越往上概念的正交性越差，越具有相似度。因为高层概念彼此可能互相包含了相同的基本结构。
     
     高层概念分离出基本结构的方法也很容易理解，就是打散了聚类，比如doc可以通过LDA的方法搞出topic，有限个topic就可以描述一个doc，topic内部还可以通过类似的方法，再打散了聚类，得到更浅层的topic，这个可以试验试验，ng没有细说，我感觉是这样。
 
    ng的报告ppt没有流出，找了个比较接近的，供大家系统学习：http://www.ipam.ucla.edu/publications/gss2012/gss2012_10595.pdf
    2014年7月Andrew Ng 于自动化所再做报告，我又写了篇听后感，供大家参考：http://blog.sina.com.cn/s/blog_593af2a70102uwhl.html

Andrew ng清华报告听后感相关推荐

  1. 2014-7 Andrew Ng 自动化所报告听后感

    转载自:http://blog.sina.com.cn/s/blog_593af2a70102uwhl.html 一早出发,8点20就赶到现场, 人越聚越多,Ng提前几分钟到达现场,掌声一片.     ...

  2. 2014-7 Andrew Ng 自动化所报告听后感-梁斌

    百度首席科学家 Andrew Ng谈深度学习的挑战和未来 一早出发,8点20就赶到现场, 人越聚越多,Ng提前几分钟到达现场,掌声一片.    Ng的报告总体上提到了五个方向.    1)Deep L ...

  3. 读《java的讲座》后感,老师讲座听后感

    老师讲座听后感 上周五,学习了名师任小艾的教育理念和方法后,触动很大,也收获颇深,尤其是她的"一则"."三言"."五心",给了我很大的启示. ...

  4. 计算机网络安全知识征文,2018关于网络的作文50字篇网络安全教育听后感

    2018关于网络的作文50字篇网络安全教育听后感 相关内容: 9月24日今天是我第一天上班,我实习的班级是小班,一共有31名小朋友.平时看的都是书上的理论,完全都是自己凭空想象,自己应该怎么扮演好一个 ...

  5. 读《java的讲座》后感,专题讲座听后感作文500字

    接着小主人报的强老师给我们上了堂生动的办报课. 专题讲座听后感作文500字 我在学校里听了一堂世博小报的专题讲座,让我懂得了许多办报的知识,认识到了水的重要性. 下午12:45专题讲座正式开始.先是& ...

  6. 计算机音乐必须会各种乐器吗,乐器音乐大会听后感

    设计意图:我班幼儿的性格大都比较内向,文静,不喜欢大大咧咧的表现自我,属于那种比较害羞的类型.因而根据本班幼儿的这一特点,我选择了这一教学内容.一方面考虑到"打击乐"的活动一向深受 ...

  7. 《听后感-罗振宇2023“时间的朋友”跨年演讲》

    听老罗的"时间的朋友"也有几年了,简单聊聊2023年的时间的朋友.先大致过一下2023的内容,总共7章. 第一章:空间.时间和葡萄酒 故事1.<电动车与书店> 我要讲的 ...

  8. 数据库的缓存管理[ASPNET2.0深入挖掘系列听后感]

    工作时间也不短了,说实话感觉是越来越郁闷:以前经常为实现某项功能而高兴半天,现在这种感觉仿佛离我越来越远:整天工作大部分就是Copy,Edit,一点创意都没有,而且那些代码我自己看起来都感觉很垃圾.不 ...

  9. 【日记】复旦大学陈果公开课听后感

    陈果,复旦大学社会科学基础部教师.2010年走红网络,但是我好像上个月某个晚上巧合之下才看到. 视频长1h42m,前前后后看了十多天. 公开课地址 2019-5-23 人是在思考自己的过程,而不是思考 ...

最新文章

  1. vb socket的使用
  2. 10个深度学习软件的安装指南（附代码）
  3. (转)基于即时通信和LBS技术的位置感知服务（一）：提出问题及解决方案
  4. android 启动第三方程序的代码（利用ComponentName）
  5. Windows2008安装组件命令行工具ServerManagerCmd用法介绍
  6. 工具分享 --- tinyPNG,大图片压缩工具
  7. 【深度学习torch——error】——“xxx.pt is a zip archive(did you mean to use torch.jit.load()?)
  8. common Lisp学习笔记（十二）
  9. 42 MM配置-采购-条件-定义工厂层的条件控制
  10. 企业类库问题 public key 问题［经过自己测试］
  11. qt creator源码全方面分析(3-1)
  12. JS鼠标捕获DIV内选中的坐标和宽高
  13. HTTP报文字段说明
  14. Unity粒子系统——简易特效制作（一）
  15. 如何查找一篇论文的源代码
  16. js 移动号码，座机号码，座机转分机号码验证
  17. PS在处理论文中实物图片的应用
  18. Ansys Meshing
  19. Qt QWidget播放视频背景图片闪烁
  20. Oracle DBA手记4 数据安全警示录

热门文章

  1. ModuleNotFoundError: No module named ‘Crypto‘ 踩坑
  2. WebRTC报错：depot_tools/bootstrap_python3: um.8_bin/python3/bin/python3: 没有那个文件或目录(三)
  3. msm8953抓取audio kernel dsp log
  4. C++创建对象new与不new区别
  5. obs之libx264编码
  6. 解决Nginx环境下wordpress设置固定链接打开失败问题
  7. python全栈开发网络_Python全栈开发：django网络框架(二)
  8. ft2232驱动安装方法_win7系统无法安装打印机驱动程序的解决方法
  9. 《了凡四训》，仅仅12句，改变你的命运
  10. robotac属于a类还是b类_所得税A类和B类的区别，什么样的属于B类？？