15个深度学习尚未攻克的难题

@王小新编译自 Bharath Ramsunder博客
量子位出品 | 公众号 QbitAI

认脸、翻译、合成语音……深度学习在很多问题上都取得了非常好的成绩。

但是，还有不少问题，不能用深度学习来解决。

斯坦福大学在读博士Bharath Ramsundar列出了下面15个方面，希望能对今后的算法开发有所帮助。

量子位翻译了这篇文章，以下为译文。

1．众所周知，深度学习方法很难学习到输入样本的微小变化。当样本的颜色交换时，所构建的目标识别系统可能会完全崩溃。

2．基于梯度的网络训练过程相当缓慢。一般按照固定模式来实现多种梯度下降方法，但是这种方法很难用于高维数据的预测。

3．深度学习方法在处理条件约束方面的效果也不佳，不能像线性规划方法那样，能快速找到满足约束的解决方案。

4．在训练复杂模型时，网络相当不稳定。通常不能很好地训练神经图灵机和GAN网络，严重依赖网络的初始化方式。

5．深层网络能较好地应用于图像处理和自然语言分析中，但是不适合现实世界的实际问题，如提取因果结构等等。

6．在实际应用中，要考虑关键影响者检测的问题。在参议员参议员投票的数据集中，应该如何检测出关键影响者，深度神经网络DNN还不能应用于此方面。

7．强化学习（Reinforcement learning）方法对输入数据非常挑剔，实际性能主要取决于调参技巧，虽然这个特殊问题仅存在于这个方面。

8．深度学习方法不容易理解未知实体，比如说当棒球击球手在视频中，深度学习不知道如何推断出屏幕外还有个投手。

9．实时训练深层网络几乎不可能，因此很难进行动态调整，上文已经提到网络训练缓慢的问题。

10．一般来说，网络需通过离线训练后才能进行智能辨识。

11．人们经常提出一些对深层网络的理论解释。但这可能不是一个大问题，人们才是一个真正的大问题。

12．目前很难确定深层网络学习到了什么。作为工程师的我们，怎样才能确保在网络训练过程中不存在偏见和种族歧视？

13．深度神经网络很难用来解决逻辑问题。3SAT求解器具有很强的能力，但是很难应用到深层网络。

14．深度神经网络在处理大维度的特征数据方面效果不佳。这种方法与强大的随机森林方法不同，在训练前需要大量的特征调整。

15．深度网络的超参数优化研究仍然处于起步阶段。研究者需要完成大量的计算或是手动调整许多网络结构。

以上这些并不是一个完整的列表，但是我觉得这些都是值得思考的问题。在这些问题的基础上，要思考：

这些问题是深层神经网络本身存在的问题，还是要被克服的工程挑战？

这些都很难说，其中的一些问题可能会得到解决，比如更多性能优秀的硬件被开发用于超参数自动搜索。有一些早期结构可以用来自动归一化和处理大维度的特征数据，因此处理特征的问题可能有所改善。

然而，逻辑、约束、隐藏结构和网络审查等问题可能会进行更深入地研究。我很愿意看到大家对这些问题提出质疑，深度学习的研究者通常都是很有才华和有想象力的。摩尔定律仍然适用于GPU性能曲线，TPU和定制硬件还需要多久才能上市？

所以我对这些挑战持乐观态度。尽管如此，我还是怀疑深度神经网络不足以实现通用人工智能，当然，这可能只是我的偏见，事件上的专家可能是预测上的菜鸟，我们花了太多时间钻研技术。

千万不要只知其然，而不知其所以然！

我不想把这个随笔写成一篇文章，不确定是否有未知的主题还未被列出。

最后，作者还说，把这篇随笔送给聪明的读者。

【完】

15个深度学习尚未攻克的难题相关推荐

深度学习如何有效攻克鲁棒性的场景重建难题？
在相机和人体同时运动的情况,如何实现基于深度学习的预测? 作者 | Tali Dekel,Forrester Cole 译者 | 苏本如,责编 | 郭芮出品 | CSDN(ID:CSDNnews) ...
实现AI技术自立自强，国产深度学习框架面临三大难题
作为推动AI应用大规模落地的关键力量,深度学习框架的重要性日益凸显.它不仅关系国计民生的行业和领域广泛的应用,同样也对信息系统的科技安全有着决定性的意义. "深度学习框架在人工智能技术体系中 ...
【论文泛读15】深度学习的图形相似度
贴一下汇总贴:论文阅读记录论文链接:<A Graph Similarity for Deep Learning> 一.摘要图神经网络(GNNs)已经成功地从图中学习表示.许多流行的gn ...
1.15 总结-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 1.14 关于梯度检验实现的注记回到目录 2.1 Mini-batch 梯度下降总结第 41 题如果你有10,000,000个例子,你会如何划分训练/开发/测试集? ...
李飞飞、吴恩达、Bengio等人的15大顶级深度学习课程，你收集全了吗？
AI技术年度盛会即将开启!11月8-9日,来自Google.Amazon.微软.Facebook.LinkedIn.阿里巴巴.百度.腾讯.美团.京东.小米.字节跳动.滴滴.商汤.旷视.思必驰.第四范式 ...
资源 | 李飞飞、吴恩达、Bengio等人的15大顶级深度学习课程，你收集全了吗？
翻译 | AI科技大本营参与 | 刘畅编辑 | Donna 目前,深度学习和深度强化学习已经在实践中得到了广泛的运用.资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程, ...
李飞飞、吴恩达、Bengio等人的15大顶级深度学习课程
目前,深度学习和深度强化学习已经在实践中得到了广泛的运用.资源型博客sky2learn整理了15个深度学习和深入强化学习相关的在线课程,其中包括它们在自然语言处理(NLP),计算机视觉和控制系统中的应 ...
刘群：基于深度学习的自然语言处理，边界在哪里？
来源:AI科技评论本文约8000字,建议阅读15分钟. 刘群教授与你探讨深度学习方法解决了自然语言处理的哪些问题以及尚未解决哪些问题. 当前,深度学习之于自然语言处理,有其局限性.那么它所能起作用的 ...
告别2019：属于深度学习的十年，那些我们必须知道的经典
选自leogao.dev 作者:Leo Gao,机器之心参与:一鸣.泽南.蛋酱 2020 新年快乐! 当今天的太阳升起时,我们正式告别了上一个十年. 在这十年中,伴随着计算能力和大数据方面的发展,深 ...

15个深度学习尚未攻克的难题

15个深度学习尚未攻克的难题相关推荐

最新文章

热门文章