深度学习算法工程师面试知识点总结（四）
这是算法工程师面试知识点总结的第四篇，有兴趣的朋友可以看看前三篇的内容：
深度学习算法工程师面试知识点总结（一）
深度学习算法工程师面试知识点总结（二）
深度学习算法工程师面试知识点总结（三）
基于tensorflow lite的Windows端模型部署：
手把手教你实现Tensorflow Lite动态库编译（适用于Windows端模型部署）
基于Tensorflow Lite的CIFAR10图像分类模型部署
基于TensorFlow的验证码识别模型训练及预测
对部署熟悉之后就不用担心招聘要求中的工程应用，落地部署的经验了。
添加微信study428，进入微信群，有问题可以及时交流沟通；
关注公众号”计算机视觉与OpenCV“，硬货知识常分享；
加入QQ群”187042448“获取深度学习相关的资料。
笔记内容分享如下
23、FCN把CNN网络的全连接都换成卷积，这样就可以获得一张2维的feature map，后接softmax获得每个像素点的分类信息，从而解决了分割问题。
24、损失函数主要分为两大类:分类损失和回归损失
回归损失:
●均方误差(MSE二次损失L2损失)它是我们的目标变量与预测值变量差值平方。
●平均绝对误差(MAE L1损失)它是我们的目标变量与预测值变量差值绝对值。
分类损失:
●交叉熵损失函数：交叉熵损失函数是目前神经网络中最常用的分类目标损失函数。
●合页损失函数：合页损失函数广泛在支持向量机中使用，有时也会在损失函数中使用。缺点：合页损失函数对错误越大的样本施以更严重的惩罚，这样会导致损失函数对噪声敏感。
25、训练样本少的情况可以使用预训练模型。
数据集太少，数据集没有局部相关特性的情况不适合使用深度学习的方法。目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域，这些领域的一个共性是局部相关性。
26、权值初始化的方法主要有：常量初始化(constant)、高斯分布初始化(gaussian)、 positive_ unitball 初始化、均匀分布初始化(uniform)、xavier 初始化、msra 初始化、双线性初始化(bilinear)。
27、梯度消失与梯度爆炸：对激活函数进行求导，如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸，如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。
28、batchnorm计算步骤：求批量数据的均值和方差，对输入数据做归一化，引入缩放因子γ和平移变量β计算归一化之后的值。
29、通常可以将超参数分为三类:网络参数、优化参数、正则化参数。
网络参数：可指网络层与层之间的交互方式（相加、相乘或者串接等）、卷积核数量和卷积核尺寸、 网络层数（也称深度）和激活函数等。
优化参数: 一般指学习率(learning rate)、批样本数量(batch size)、不同优化器的参数以及部分损失函数的可调参数。
正则化：权重衰减系数，丢弃法比率（dropout）。
学习率的设置最重要（初始0.001~0.01左右，后用指数衰减），损失函数的可调参数建议参考论文的值，其次是批样本数量（1-1024），权重衰减系数（1e-4）和优化器的参数可以参考使用默认值就能达到很好的效果。
30、目前自动化超参数搜索主要包含网格搜索（超参数数量少的情况下，列出超参数集合，并进行组合，计算量指数上升），随机搜索（定义一个分布函数随机生成超参数），基于模型的超参优化（最常见的就是贝叶斯超参优化）。
31、异构计算就是结合了两个或者多个不同的计算平台，并进行协同运算，如CPU和GPU的异构计算。
GPU选型：GTX 1080 Ti
最后分享一本适合于深度学习入门和找工作的实战类书籍**《深度学习计算机视觉实战》**，该书由刘东研究员和肖铃合作完成，由电子工业出版社出版。
该书从算法导读到模型训练，到模型部署一站式搞定，书中案例注释详细，均已通过运行验证。该书包括4个部分：
第一部分（1~2章）深度学习和计算机视觉的基础和算法讲解；
第二部分（3~6章）传统图像处理算法的案例讲解；
第三部分（7-11章）计算机视觉方向的案例讲解；
第四部分（12~13章）Tensorflow Lite讲解（源码分析、模型优化、模型转换等）以及使用Tensorflow Lite在PC端和移动端的部署案例讲解。
本书可以为计算机视觉入门的读者和想要对模型进行工程部署的读者提供参考与帮助。
京东链接：https://u.jd.com/rwk3HPT
深度学习算法工程师面试知识点总结（四）相关推荐
- 深度学习算法工程师面试知识点总结（一）
深度学习算法工程师岗位需要具有的技术栈初步总结如下: 这个总结并不是很完整,这个方向所需要的知识体系非常的庞大,例如高等数学基础.线性代数.概率论的基础,这对很多的同学来说是一个比较大的挑战.还需要针 ...
- 机器学习算法工程师面试知识点汇总
机器学习算法工程师面试知识点汇总 机器学习 梯度下降 k-means 1 × 1卷积核 模型 SVM Bagging & Boosting 随机森林 激活函数 Sigmod tanh ReLU ...
- 岗位推荐 | 百度招聘计算机视觉、深度学习算法工程师（可实习）
PaperWeekly 致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁. 如果你需要我们来帮助你推广实习机会或全职岗位,请添加微信号「pwbot02」. 工作地点: ...
- 刚发布！开发者调查报告：机器学习/深度学习算法工程师急缺
近日,CSDN发布了<2019-2020中国开发者调查报告>,本报告从2004年开始针对一年一度的CSDN开发者大调查数据分析结果形成,是迄今为止覆盖国内各类开发者人群数量最多.辐射地域. ...
- 网易北京研发中心-网易传媒部门深度学习算法实习生面试总结
"微信公众号" 2018年6月13日,网易北京研发中心-网易传媒部门深度学习算法实习生面试总结 1. 问了一下能实习多久,以及实习开始的时间. 2. 问了一下目前去除水印的一些工作 ...
- 推荐 | 一个统计硕士的深度学习算法工程师的成长之路
公众号推荐 推荐人/文文 俗话说,一个人走得快,但一群人可以走的远.在数据科学和机器学习的道路上,相信每个人都不是闭门造车的人.技术学习除了在个人努力外,交流和分享也是很重要的一部分. 今天给大家推荐 ...
- 【杂谈】什么是我心目中深度学习算法工程师的标准
有三AI平台只专心做原创输出很少扯淡也不蹭热点,不过最近询问的朋友多了,不得不统一写篇文章来回答一下这个大家都很关心的问题,当然,这仅仅是个人观点. 作者&编辑 | 言有三 目前利用深度学习这 ...
- 「杂谈」什么是我心目中深度学习算法工程师的标准
http://blog.sina.com.cn/s/blog_cfa68e330102zoco.html 有三AI平台只专心做原创输出很少扯淡也不蹭热点,不过最近询问的朋友多了,不得不统一写篇文章来回 ...
- python算法工程师招聘_经验 | 我心目中招聘深度学习算法工程师的标准
原标题:经验 | 我心目中招聘深度学习算法工程师的标准 本文转载自有三AI 目前利用深度学习这个工具可以做很多事情,各大领域(图像,语音,NLP等),各大行业(娱乐,金融,医疗等)这几年都被玩的风生水 ...
最新文章
- Facebook欧盟垄断案陷入灰色地带 立法或调整
- 深圳农村商业银行转账显示服务器无响应,深圳农村商业银行
- codevs 1779 单词的划分
- ASP.NET Core 十种方式扩展你的 Views
- MATLAB可以打开gms文件吗,gms文件扩展名，gms文件怎么打开？
- 在LINUX中如何把2个文件中的内容合到另一个文件中
- 太原理工大学ICPC队介绍（2019版）
- 【转载】C# ListView控件的一些用法
- java字符串中的数据排序
- 图片怎么做雕刻路径_浮雕做图的简要步骤
- 第三方短信验证码服务
- python教材分析_初中信息技术_初识Python教学设计学情分析教材分析课后反思
- 查询优化器内核剖析第八篇：执行引擎之数据访问操作---Seek与Lookup
- python窗口居中_Tkinter窗口在屏幕居中的问题
- java学习之路-练习题：编写一个计算速度的程序，距离时间常量。
- QGuiApplication底层鼠标处理（二）QSocketNotifier在事件循环中触发activated信号
- python 作图：heatmap
- 分布式项目-谷粒商城。
- argc和argv的使用总结
- 算法笔记之回溯法(一)——溯洄从之，道阻且长；溯游从之，宛在水中央。