深度学习面试必备的 25 个问题
2020-04-06 08:54:15
作者 | Tomer Amit
译者 | 弯月，责编 | 屠敏
出品 | CSDN（ID：CSDNnews）
以下为译文：
在本文中，我将分享有关深度学习的25个问题，希望能够帮助你为面试做好准备。
1.为什么必须在神经网络中引入非线性？
答：否则，我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线性模型的参数数量非常少，因此建模的复杂性也会非常有限。
2.说明解决神经网络中梯度消失问题的两种方法。
答：
使用ReLU激活函数代替S激活函数。
使用Xavier初始化。
3.在图像分类任务中，相较于使用密集神经网络（Dense Neural Network，DNN），使用卷积神经网络（Convolutional Neural Network，CNN）有哪些优势？
答：虽然两种模型都可以捕获彼此靠近的像素之间的关系，但CNN具有以下属性：
它是平移不变的：对于过滤器而言，像素的确切位置是无关的。
更不容易发生过度拟合：一般而言CNN中的参数比DNN要少很多。
方便我们更好地理解模型：我们可以查看过滤器的权重，并可视化神经网络的学习成果。
分层性质：通过使用较简单的模式描述复杂的模式来学习模式。
4. 说明在图像分类任务中可视化CNN特征的两种方法。
答：
输入遮挡：遮挡输入图像的一部分，看看哪部分对分类的影响最大。 例如，针对某个训练好的图像分类模型，将下列图像作为输入。如果我们看到第三幅图像被分类为狗狗的概率为98%，而第二幅图像的准确率仅为65%，则说明眼睛对于对分类的影响更大。
激活最大化：创建一个人造的输入图像，以最大化目标响应（梯度上升）。
5. 在优化学习速率时，分别尝试学习速率：0.1、0.2，…，0.5是好办法吗？
答：这种方法并不好，建议使用对数比例来优化学习速率。
6. 假设一个神经网络拥有3层的结构和ReLU激活函数。如果我们用同一个值初始化所有权重，结果会怎样？如果我们只有1层（即线性/逻辑回归）会怎样？
答：如果所有权重的初始值都相同，则无法破坏对称性。也就是说，所有梯度都会更新成同一个值，而且神经网络将无法学习。但是，如果神经网络只有1层的话，成本函数是凸形的（线性/ S型），因此权重始终会收敛到最佳点，无论初始值是什么（收敛可能会较慢）。
7.解释Adam优化器的概念。
答：Adam结合了两个想法来改善收敛性：每个参数更新可加快收敛速度；动量可避免卡在鞍点上。
8.比较批处理，小批处理和随机梯度下降。
答：批处理是指在估计数据时获取整个数据；小批处理是通过对几个数据点进行采样来进行小批量处理；而随机梯度下降是指在每个时期更新一个数据点的梯度。我们需要权衡梯度计算的准确度与保存在内存中的批量大小。此外，通过在每个epoch添加随机噪声，我们可以通过小批处理（而非整个批处理）实现正规化效果。
9.什么是数据扩充？举个例子。
答：数据扩充是一种技术，通过操作原始数据来增加输入数据。例如，对于图像，我们可以执行以下操作：旋转图像、翻转图像、添加高斯模糊等。
10. 解释GAN的概念。
答：GAN（Generative Adversarial Network）即生成对抗网络，通常由两个神经网络D和G组成，其中D指的是判别器（Discriminator），而G指生成网络（Generative Network）。这种模型的目标是创建数据，例如创建与真实图像并无二样的图像。假设我们想要创建一只猫的对抗示例。神经网络G负责生成图像，而神经网络D则负责判断图像是否是猫。G的目标是“愚弄”D——将G的输出始终分类为猫。
11.使用Batchnorm有什么优势？
答：Batchnorm能够加快训练过程，而且（一些噪音的副产品）还具有调节作用。
12.什么是多任务学习？应该在什么时候使用？
答：当我们使用少量数据处理多个任务时，多任务处理将很有用，而且我们还可以使用在其他任务的大型数据集上训练好的模型。通过“硬”方式（即相同的参数）或“软”方式（即对成本函数进行正则化/惩罚）共享模型的参数。
13.什么是端到端学习？列举一些优点。
答：端到端学习通常是一个模型，该模型能够获取原始数据并直接输出所需的结果，而无需任何中间任务或功能工程。其优点包括：无需手工构建功能，而且通常可以降低偏差。
14.如果在最后一层中，我们先使用ReLU激活函数，然后再使用Sigmoid函数，会怎样？
答：由于ReLU始终会输出非负结果，因此该神经网络会将所有输入预测成同一个类别！
15.如何解决梯度爆炸的问题？
答：解决梯度爆炸问题的一个最简单的方法就是梯度修剪，即当梯度的绝对值大于M（M是一个很大的数字）时，设梯度为±M。
16.使用批量梯度下降法时，是否有必要打乱训练数据？
答：没有必要。因为每个epoch的梯度计算都会使用整个训练数据，所以打乱顺序也没有任何影响。
17.当使用小批量梯度下降时，为什么打乱数据很重要？
答：如果不打乱数据的顺序，那么假设我们训练一个神经网络分类器，且有两个类别：A和B，那么各个epoch中的所有小批量都会完全相同，这会导致收敛速度变慢，甚至导致神经网络对数据的顺序产生倾向性。
18.列举迁移学习的超参数。
答：保留多少层、添加多少层、冻结多少层。
19. 测试集上是否需要使用dropout？
答：不可以使用！dropout只能用于训练集。dropout是训练过程中应用的一种正则化技术。
20.说明为什么神经网络中的dropout可以作为正则化。
答：关于dropout的工作原理有几种解释。我们可以将其视为模型平均的一种形式：我们可以在每一步中“去掉”模型的一部分并取平均值。另外，它还会增加噪音，自然会产生调节的效果。最后，它还可以稀释权重，从根本上阻止神经网络中神经元的共适应。
21. 举个适合多对一RNN架构的例子。
答：例如：情绪分析，语音中的性别识别等。
22.我们什么时候不能使用BiLSTM？说明在使用BiLSTM我们必须做的假设。
答：在所有双向模型中，我们都可以假设在给定的“时间”内访问序列的下一个元素。文本数据（例如情感分析、翻译等）就是这种情况，而时间序列数据则不属于这种情况。
23. 判断对错：将L2正则化添加到RNN有助于解决梯度消失的问题。
答：错误！添加L2正则化会将权重缩小为零，在某些情况下这实际上会让梯度消失的问题更严重。
24. 假设训练错误/成本很高，而且验证成本/错误几乎与之相等。这是什么意思？我们应该做些什么？
答：这表明欠拟合。我们可以添加更多参数，增加模型的复杂性或减少正则化。
25. 说明为何L2正则化可以解释为一种权重衰减。
答：假设我们的成本函数为C(w)，我们再加上一个c|w|2。使用梯度下降时，迭代如下：
w = w -grad(C)(w) — 2cw = (1–2c)w — grad(C)(w)
在该等式中，权重乘以因子<1
原文：https://towardsdatascience.com/50-deep-learning-interview-questions-part-1-2-8bbc8a00ec61
深度学习面试必备的 25 个问题相关推荐
- 深度学习面试必备的25个问题
作者 | Tomer Amit 译者 | 弯月,编辑 | 屠敏 出品 | CSDN(ID:CSDNnews) 在本文中,我将分享有关深度学习的25个问题,希望能够帮助你为面试做好准备. 1.为什么必须 ...
- 爆火的深度学习面试书现可白嫖！GitHub上线2周1.5K Star，之前售价146元
金磊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 面试宝典千千万,但这一份,应当是深度学习领域里不容错过的那一个了. 这不,才在arXiv"上架"12天,GitHub就狂 ...
- 常见的12个深度学习面试问题（提高篇）
序言 整理了一篇来自公众号AI公园的文章,原文链接:常见的12个深度学习面试问题,通过对文章知识点整理来巩固所学的知识,也为了以后更好的复习. 正文 1. 介绍Batch Normalization的 ...
- 机器学习、深度学习面试知识点汇总
作者丨Oldpan 来源丨oldpan博客 编辑丨极市平台 导读 本文总结了一些秋招面试中会遇到的问题和一些重要的知识点,适合面试前突击和巩固基础知识. 前言 最近这段时间正临秋招,这篇文章是老潘在那 ...
- 21个热门的深度学习面试问答的综合指南
本文列出了一系列热门的深度学习面试的问题,每一个问题都有相应的答案.认真阅读,或许你会对深度学习面试的知识有个全面的了解. 介绍 你打算参加深度学习面试吗?你是否已经迈出了第一步,申请了一个深度学习的 ...
- 【深度学习面试八股文】-- 1-5
最近会更新一个深度学习面试中常见问题,及相应的答案,希望对找工作的朋友有所帮助,总结不易,欢迎持续关注.公众号:羽峰码字,欢迎来撩. 目录 1.如何处理样本不均衡问题 2.数据增强方法 3.过拟合的解 ...
- 常见的12个深度学习面试问题
深度学习面试 Author:JP Tech Translator:ronghuaiyang From:AI公园 导读 这12个问题是当前面试中最热门的问题,既是非常基础的问题,也能看出面试者的水平,具 ...
- 年轻人的第一本深度学习面试书
本文由发布于专栏 白小鱼 同志们,一年一度的暑假又到了,暑假实习.秋招都在向你招手,你又不可避免地卷入各种各样的面试.面试深度学习算法工程师的同学,在参加面试的过程中,你是否经常被面试官的问题难到,苦 ...
- linux常见命令---深度学习炼丹炉必备---更新中
目录 linux常见命令---深度学习炼丹炉必备---更新中 1.修改环境变量 2.查看当前conda环境 3.如果执行conda activate ***出现问题时需要初始化shell 4.查看当前 ...
最新文章
- Android 常见异常及解决办法
- 30个 Web 设计者 必备的免费 PSD UI 工具包
- 从源码分析DEARGUI之add_selectable
- python可以写桌面软件吗-Python学习，给自己的代码做个合集，定制自己的桌面软件！...
- Linux awk 命令
- PowerDesigner12对SQL2005反向工程问题．
- pyhon量化数据处理小细节3---日期格式转换
- 蚂蚁金服自研数据库OceanBase如何登顶TPC-C
- 整理了Kafka的一些常用工具，建议收藏备用！| 博文精选
- js获取url后面的参数值
- 2007年春节,祝朋友们:身体健康,万事如意! 度过一个愉快春节!
- Win10PE网络版.iso UEFI、BIOS双启动
- win7无法连接打印机拒绝访问_win7 无法连接到打印机 添加本地打印机拒绝访问 - 卡饭网...
- heartbeat 高可用工具
- instanceof和containsKey以及claims.getExpiration()以及expiration.before（）的用法
- 经典网页设计：20个优秀的电子商务网站设计案例
- 设计模式----策略模式
- 高德地图接口申请 地图接口集成 高德地图API文档
- Qt error: 找不到 -lGL
- 解决elementui的el-dialog 对话框 屏幕放大缩小不变形问题