后深度学习的挑战与思考（PRCV 焦李成报告记录）

2024-04-19 15:50:10

这是11月9号PRCV会议上 焦李成 大佬的报告，感受很多，特此记录

行万里路，没看什么书，永远是个邮差；
桥千层网，不注重原理，永远是个码农。

以下是报告目录：

人工智能与深度学习

大数据时代，对于数据代表问题的机理，我们应该了解的是它的物理、生物的机理，而不是深度学习中简单的调参和trick。

深度学习的发展：
特征工程----特征搜索----表征学习

卷积的概念是从信号处理来的，是简单的滤波器的实现，其数学表达和物理概念都很明确，所以卷积网络率先得到了应用。

残差网络最开始面对的便是梯度弥散的问题，网络应该如何训练？何凯明等人引入恒等快捷连接来解决。

深度学习的一个高维的非线性逼近的问题，和传统不一样的是，这个问题的误差可以用用神经网络的结构来表征，可以用BP来缩小。这便是通过学习和优化以获得更好结果的过程。

目前深度学习的瓶颈：

学习过程：表示，学习，泛化。

![在这里插入图片描述](https://img-blog.csdnimg.cn/20191109155115236.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDU4NTU4Mw==,size_16,colo
5G与人工智能的必然结合。

以前的目标是：检测，识别，分割，分类。
新目标：解意，学习，利用。

不能一直局限于像，而要探索其中的意，不能只是眼睛看到的东西，而没有脑子思考和解意的，要看图说话。

认知建模

你神经了吗？你神经元了吗？你提现他的深度机理了吗？

自动学习

完结撒花！！！
一不注意就变成PPT总结了，，，可能是大佬PPT做的太好了。

没有 prior 的模型，必将到达性能的上限。

后深度学习的挑战与思考（PRCV 焦李成报告记录）相关推荐

中国人工智能学会通讯——后深度学习时代的人工智能
1956 年,在美国达特茅斯学院举行的一次会议上,"人工智能"的研究领域正式确立.60 年后的今天,人工智能的发展正进入前所未有的大好时期.我今天作的报告,将通过分析时代的特点, ...
对于线性代数、特征空间、特征提取、深度学习的一些深夜思考
今天女票要毕业论文送审,昨晚熬夜.我们平时一般睡眠时间相近,我也就想着我也稍微晚点睡吧(打算一点左右睡).结果从思考矩阵乘法的意义开始,停不下来.一直想到了两点多,三点多接近四点才睡着.算是昨晚独自思 ...
为什么医学影像AI已进入「后深度学习时代」？
http://blog.itpub.net/29829936/viewspace-2644440/ "深度学习正走向两极化,大部分研究深度学习的人员会偏向于工程化,包括建立更加全面.便捷.快 ...
百度首席科学家 Andrew Ng谈深度学习的挑战和未来
摘要:7月7日上午,百度首席科学家Andrew Ng应邀做客中国科学院自动化研究所并做了<Deep Learning:Overview and trends>的学术报告. [编者按]人工智 ...
深度学习求深度图_关于图的深度学习成功挑战和下一步
深度学习求深度图重点 (Top highlight) 图神经网络的下一步是什么? (What is next in store for graph neural networks?) TL;DR T ...
关于深度学习移动化的思考
一. 深度学习现状的瓶颈: 1. 计算量巨大,消耗大量的计算资源 2. 模型内存占用大,消耗大量内存资源 3. 模型存储空间大,消耗大量存储空间 4. 只能在云端利用其大量的资源进行模型训练 5. ...
【群话题精华】五月集锦—— 机器学习和深度学习中一些值得思考的问题
其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造. 书的购买链接书的勘误,优化,源代码资源原创声明 ...
GitHub贡献全球第5，超15,000名软件工程师，后深度学习时代英特尔如何「软硬兼施」
作为全球最大的半导体公司(2019年Q1数据),英特尔一直以「硬实力」示人,然而就是这样一家公司却有超过15000名软件工程师,在GitHub的2018贡献排行榜上全球第五. 深度学习时代,英伟达凭借 ...
工业后深度学习时代之自监督学习与自主学习
工业深度学习背景工业界目前的主要进展和应用落地,很大程度上依赖于高成本的有监督深度学习.而在很多实际场景中,存在数据获取成本过高.甚至无法获取的问题.因此,在数据不足的情况下,如何使用乃至无监督的方 ...
深度学习与机器学习的思考
需要一些传统图像处理知识为佳. "end-to-end"(端到端)说的是,输入的是原始数据(始端),然后输出的直接就是最终目标(末端),中间过程不可知,因此也难以知. 就此,有人批 ...

最新文章

热门文章