1、激活函数

1.1 Linear Activation function：直接输出 pre-activation的结果

特点：

No bound
Useless

使用情况：
神经网络的最后一层

如果每一层的叠加都是线性转换的话，那么最后输出的结果就只是每一层weight的乘积和，所以神经网络需要非线性转换的activation function

1.2 Sigmoid 函数

特点：

1、可以将输入值映射到(0,1)区间
2、严格递增的函数

1.3 Tanh 函数

映射到(-1,1)区间
严格递增

1.4 Rectifier linear activation function

将小于0的部分强制设置为0

特点：

bounded by 0
避免gradient vanishing
过滤掉non- positive samplings
严格递增

逻辑回归是神经网络的special case

2、 Multiple layers perception

2.1 单层感知机

2.2 Multiple outputs—— 分类和loss

对于分类问题，把最后一层结果经过softmax，得到的输出结果使得它们累加为1，满足概率分布的要求。选择概率最大的作为分类结果

计算loss：计算经过softmax回归后的结果和label值，使用交叉熵。

2.3 多层感知机

3、万能近似定理

4、神经网络的损失函数

使用反向传播算法计算每一层的参数（梯度下降）

cross-entropy

5、BP算法

损失依赖于最后一层的输出
每个隐藏层都有激活前和激活后两个部分

5.1 对于输出层的梯度计算

5.2 对于隐含层的梯度计算

根据chain rule 计算，对于之前的隐藏层，导数为经过它的weight

6、深度学习的优化/ Plateau

6.1 深度学习网络是匪徒函数

深度学习是非凸函数，很难得到全局最优解。
Highly Non-convex function
如何去寻找最好的局部最优解是关键

深度学习的Plateau

在梯度下降时，当loss函数趋于平稳时，gradient 会停止下降。

加入惯性(Momentum)来避免gradient在平滑区域的停滞

7、SGD with Converge

希望学习率在梯度更新较慢时学习率也会同步变小

先使用fixed learning rate
再慢慢调整学习率

8、Early stopping

early stopping 可以有效地避免过拟合
训练的越多，模型拟合的能力越强

gap：训练数据和测试数据之间的差距，当模型复杂度增大时，gap可能会越来越大

NLP 2.9 深度学习与神经网络相关推荐

15个小时彻底搞懂NLP自然语言处理（2021最新版附赠课件笔记资料）【LP自然语言处理涉及到深度学习和神经网络的介绍、 Pytorch、 RNN自然语言处理】笔记
15个小时彻底搞懂NLP自然语言处理(2021最新版附赠课件笔记资料)[LP自然语言处理涉及到深度学习和神经网络的介绍. Pytorch. RNN自然语言处理] 笔记教程与代码地址 P1 机器学习与 ...
fastText、TextCNN、TextRNN……这里有一套NLP文本分类深度学习方法库供你选择作者：机器人圈 / 微信号：ROBO_AI发表时间：2017-07-28 图：pixabay
fastText.TextCNN.TextRNN--这里有一套NLP文本分类深度学习方法库供你选择「机器人圈」编译:嗯~阿童木呀.多啦A亮这个库的目的是探索用深度学习进行NLP文本分类的方法. 它 ...
人工智能、机器学习、深度学习和神经网络的区别
人工智能背景:人工智能最初可以追溯至1956年,当时多名计算机科学家在达特茅斯会议上共同提出了人工智能的概念.在随后几十年中,人工智能一方面被认为是人类文明未来的发展方向,另一方面也被认为是难以企及 ...
机器学习、深度学习、神经网络学习资料集合(开发必备)
最近整理了下AI方面的学习资料,包含了学习社区.入门教程.汲取学习.深度学习.自然语言处理.计算机视觉.数据分析.面试和书籍等方面的知识.在这里分享给大家,欢迎大家点赞收藏. 学习社区神力AI(MA ...
人工智能：通俗易懂理解深度学习与神经网络
前言初入学习人工智能领域,为方便对该领域有一个快速清晰的认识,因此收集了相关资料并整理了各位前辈们在此领域的研究现状.由浅入深.循序渐进理解什么是深度学习和神经网络,二者的联系和区别是什么,以及什么 ...
【深度学习NLP】初识深度学习(DL)与自然语言(NLP)
一.自然语言(NLP)处理概述 1.什么是自然语言(NLP) 自然语言就是人类所了解到的语言,与计算机语言相比本质上两者是同义的. 2.自然语言处理(NLP)的基础概念 (1)横跨了计算机科学.语言学 ...
深度学习（1）基础1 -- 深度学习与神经网络基础
目录一.深度学习与神经网络 1.深度学习定义 2.神经网络 3.深度学习过程 4.深度学习功能二.深度学习应用三.分类数据集推荐一.深度学习与神经网络 1.深度学习定义深度学习(deep l ...
从神经元到神经网络、从神经网络到深度学习：神经网络、深度学习、神经元、神经元模型、感知机、感知机困境、深度网络
从神经元到神经网络.从神经网络到深度学习:神经网络.深度学习.神经元.神经元模型.感知机.感知机困境.深度网络目录从神经元到神经网络.从神经网络到深度学习神经网络:
综述：NLP中的深度学习优势
[简介]自然语言处理(NLP)能够帮助智能型机器更好地理解人类的语言,实现基于语言的人机交流.目前随着计算能力的发展和大量语言数据的出现,推动了使用数据驱动方法自动进行语义分析的需求.由于深度学习方法 ...
针对深度学习（神经网络）的AI框架调研
针对深度学习(神经网络)的AI框架调研在我们的AI安全引擎中未来会使用深度学习(神经网络),后续将引入AI芯片,因此重点看了下业界AI芯片厂商和对应芯片的AI框架,包括Intel(MKL CPU). ...

NLP 2.9 深度学习与神经网络