1. 对深度学习相关神经网络理解深入,如DNN、CNN、RNN、GAN等;
2. 有深厚的理论研究背景和数据基础,熟悉EM、MCMC、LR、LDA、PCA、时间序列等数学方法;
3. 熟悉一种以上的深度学习的开源框架,如Caffe、TensorFlow、ARM AI Library、SNPE等;


https://blog.csdn.net/liutengjun_fudan/article/details/78286391

DNN

长短期记忆神经元(Long short term memory cells)用于克服循环神经元中信息快速流失的问题。

CNN:卷积神经网络(CNN:Convolutional neural networks)或深度卷积神经网络(DCNN:deep convolutional neural networks) 跟其它类型的神经网络大有不同。 它们主要用于处理图像数据,但可用于其它形式数据的处理,如语音数据。

池化是一种过滤掉细节的方式:一种常用的池化方式是最大池化,比如用2X2的像素,然后取四个像素中值最大的那个传递。为了让卷积神经网络处理语音数据,需要把语音数据切分,一段一段输入。在实际应用中,通常会在卷积神经网络后面加一个前馈神经网络,以进一步处理数据,从而对数据进行更高水平的非线性抽象。

RNN:循环神经网络(RNN:Recurrent neural networks)是具有时间联结的前馈神经网络:它们有了状态,通道与通道之间有了时间上的联系。 神经元的输入信息,不仅包括前一神经细胞层的输出,还包括它自身在先前通道的状态。

RNN可以在很多领域使用,因为大部分数据在形式上不存在时间线的变化,(不像语音或视频),它们能以某种序列的形式呈现出来。一张图片或一段文字可以一个像素或者一个文字地进行输入,因此,与时间相关的权重描述了该序列前一步发生了什么,而不是多少秒之前发生了什么。一般来说,循环神经网络是推测或补全信息很好的选择,比如自动补全。

GAN:生成式对抗网络(GAN:Generative adversarial networks)是一类不同的网络,它们有一对“双胞胎”:两个网络协同工作。

GAN可由任意两种网络组成(但通常是FF和CNN),其中一个用于生成内容,另一个则用于鉴别生成的内容。

鉴别网络(discriminating network)同时接收训练数据和生成网络(generative network)生成的数据。鉴别网络的准确率,被用作生成网络误差的一部分。这就形成了一种竞争:鉴别网络越来越擅长于区分真实的数据和生成数据,而生成网络也越来越善于生成难以预测的数据。这种方式非常有效,部分是因为:即便相当复杂的类噪音模式最终都是可预测的,但跟输入数据有着极为相似特征的生成数据,则很难区分。

训练GAN极具挑战性,因为你不仅要训练两个神经网络(其中的任何一个都会出现它自己的问题),同时还要平衡两者的运行机制。如果预测或生成相比对方表现得过好,这个GAN就不会收敛,因为它会内部发散。

LSTM:长短期记忆(LSTM:Long / short term memory)网络试图通过引入门结构与明确定义的记忆单元来解决梯度消失/爆炸的问题。

这更多的是受电路图设计的启发,而非生物学上某种和记忆相关机制。每个神经元都有一个记忆单元和三个门:输入门、输出门、遗忘门。 这三个门的功能就是通过禁止或允许信息流动来保护信息。

输入门决定了有多少前一神经细胞层的信息可留在当前记忆单元,输出层在另一端决定下一神经细胞层能从当前神经元获取多少信息。遗忘门乍看很奇怪,但有时候遗忘部分信息是很有用的:比如说它在学习一本书,并开始学一个新的章节,那遗忘前面章节的部分角色就很有必要了。

LSTM可用来学习复杂的序列,比如像莎士比亚一样写作,或创作全新的音乐。值得注意的是,每一个门都对前一神经元的记忆单元赋有一个权重,因此会需要更多的计算资源。

https://blog.csdn.net/zongzi13545329/article/details/63685816

MCMC由两个MC组成,即蒙特卡罗方法(Monte Carlo Simulation,简称MC)和马尔科夫链(Markov Chain ,也简称MC)。

MCMC采样.蒙特卡罗方法是一种随机模拟的方法

收敛到平稳分布,基于马氏链做采样的关键问题是如何构造转移矩阵P,使得平稳分布恰好是我们要的分布p(x)。

MCMC——Gibbs Sampling算法

LC-Logistic regression (逻辑回归)是一种非线性回归模型

https://www.cnblogs.com/webary/p/5063452.html

https://blog.csdn.net/buracag_mc/article/details/77620686

正则项(范数)的概念已经在博文中说过一次了,这里不再赘述。只八股一下两个正则项的特点吧:

L1范数:也称叫“稀疏规则算子”(Lasso Regularization)。为什么能稀疏呢?关键原因在于它能实现特征的自动选择。一般来说,训练集中的某些特征和输出 yiyi 之间并没有多大关系。在训练时引入这些特征,当然能获得更小的训练误差,但其泛化能力比较差,即造成过拟合!L1范数的引入就是为了实现特征自动选择,它会将没有信息的特征对应的权重置为0。

L2范数:在回归里面中又称岭回归”(Ridge Regression),也有的叫法为“权值衰减”(Weight Decay)。同样是为了解决过拟合问题,但与 L1 范数不同的是L2是使得特征对应的权重尽量的小,接近于0(但不会等于0)。而越小的参数说明模型越简单,越简单的模型则越不容易产生过拟合现象。为什么呢?这里给出一个说法:参数越小,表示模型不会过分地学习训练集的某个特征,也即更不容易造成过拟合。

L1正则化(左图)更容易与突出的角相切,可以想象在高纬特征空间中,会有许多向外突出的角;L1倾向于使某些特征对应的参数变为0,因此能产生稀疏解。而 L2 使 w 接近0。

转载于:https://www.cnblogs.com/wxl845235800/p/11188940.html

面试准备3——相关知识相关推荐

  1. 【面试】我是如何面试别人List相关知识的,深度有点长文

    作者:李新杰 来自:编程新说 ?先来点鸡汤前几年易中天可谓非常的火,接受过很多采访.他的情况比较特殊,在武汉读高中时期,恰逢"知识青年上山下乡"活动,就到新疆去了. 在新疆生产建设 ...

  2. 我是如何面试别人List相关知识的

    作者 |  李新杰 来源 |  编程新说 微信公众号 先来点鸡汤 前几年易中天可谓非常的火,接受过很多采访.他的情况比较特殊,在武汉读高中时期,恰逢"知识青年上山下乡"活动,就到新 ...

  3. 【面试】大佬是如何面试别人List相关知识的

    本文公众号来源:编程新说李新杰 作者:编程新说 看后总结:良心面试官 面试我们应该正确对待.知道的就回答,不知道的就请教,似是而非的就探讨,开开心心的度过一个小时的交谈就行了.至于结果那要看缘分了,而 ...

  4. 算法工程师面试问题及相关资料集锦(附链接)

    来源:专知 本文约9800字,建议阅读20分钟. 本文为你介绍算法工程师面试问题及相关资料集锦,相当全面,值得收藏. 目录 算法工程师 Github.牛客网.知乎.个人博客.微信公众号.其他 机器学习 ...

  5. 后端技术:消息队列MQ/JMS/Kafka相关知识介绍

    ?今天给大家分享消息队列MQ/JMS/Kafka相关知识介绍 1.消息队列介绍 首先举个收快递的栗子,传统的收快递,快递小哥把我们的快递送到我们的手里.他需要什么条件嗯? 快递小哥有时间送, 我们有时 ...

  6. python实现单例模式的三种方式及相关知识解释

    python实现单例模式的三种方式及相关知识解释 模块模式 装饰器模式 父类重写new继承 单例模式作为最常用的设计模式,在面试中很可能遇到要求手写.从最近的学习python的经验而言,singlet ...

  7. 【求职】有关面试和简历相关的总结与心得

    第一次写面试相关的文章,是觉得有必要总结一下这块的东西了. 第一部分:面试 先说说对面试认识吧. 人生而具备社会属性,在原始社会集群而居,继而出现氏族,国家,公司,团队.因为大家都认识到,单打独斗不足 ...

  8. [Java面试九]脚本语言知识总结.

    [Java面试九]脚本语言知识总结. 核心内容概述 1.JavaScript加强,涉及到ECMAScript语法.BOM对象.DOM对象以及事件. 2.Ajax传统编程. 3.jQuery框架,九种选 ...

  9. Redis数据库相关知识总结

    Redis数据库相关知识总结 1.NoSQL概述 1.1 为什么用NoSQL 1.单机MySQL的美好年代 在90年代,一个网站的访问量一般不大,用单个数据库完全可以轻松应付! 在那个时候,更多的都是 ...

最新文章

  1. matplotlib中文文档_python绘图库——Matplotlib及Seaborn使用(入门篇1)
  2. 使用JQuery筛选sharepoint日历里的超链接
  3. python 对角化 特征值 特征向量
  4. AC日记——Red and Blue Balls codeforces 399b
  5. Fedora 30用dnf安装OpenCV及g++编译其应用程序
  6. MyBatis-09MyBatis注解方式之@Update/@Delete
  7. windows 10 家庭版 无法打开 gpedit.msc 解决方法
  8. amazeui学习笔记--css(布局相关3)--辅助类Utility
  9. 轨迹跟踪_预描点寻找
  10. 全是大事:百度华为联手搞AI;滴滴再融40亿美元也说搞AI
  11. php用字母数字生成用户名,请问生成字母加数字
  12. 论文笔记_S2D.39_2015-ICCV-条件随机场作为递归神经网络(CRF-RNN)
  13. 分享NI卸载工具(免费)
  14. DOM元素节点属性outerHTML和innerHTML
  15. 计算机情绪识别属于什么方向,情绪检测器
  16. 飞火流星测试经验总结
  17. C#基于OpenCVsharp提取文字区域
  18. 第六章 政策方案的规划与抉择
  19. 【应急响应】黑客入侵应急分析手工排查
  20. keil uvision4 调试教程

热门文章

  1. 2017 Multi-University Training Contest - Team 1—HDU6040
  2. 基础知识漫谈(3) 组合基础知识,设计游戏框架
  3. CSU 1328: 近似回文词
  4. java原始模型模式_java设计模式--原始模型模式
  5. ckeditor缺少图像源文件地址_微软的模拟飞行带你开着飞机浏览世界附下载地址...
  6. 电脑下边的任务栏不见了_XP系统任务栏被空白工具栏占领快速删除办法
  7. php为什么需要配置路由器,laravel 配置路由 api和web定义的路由的区别详解
  8. docker oracle navicat_拥抱开源从零开始 Docker、Mysql amp; JPA
  9. gradient设置上下渐变_iOS 绘制渐变·实例篇
  10. 16、计算机图形学——基于AABB进行光线追踪的加速(下)