本系列为慕课网《深度学习之神经网络(CNN/RNN/GAN)算法原理+实战》视频笔记，希望自己能通过分享笔记的形式更好的掌握该部分内容。
往期回顾：
神经网络（一）—— 机器学习、深度学习简介

神经网络

神经元：神经网络的最小结构
Logistic回归模型：在深度学习出现之前最赚钱的算法
神经网络训练：调参使得神经网络表现好

神经元——最小的神经网络

上图为神经元的基本结构图。可以看到，神经元有多个输入，一个输出。将输入进行加权求和，通过一个函数hhh得到最后的输出。具体的公式如下：
hW,b(x)=f(WTx)=f(Σi=13Wixi+b)h_{W,b}(x)=f(W^Tx)=f(\Sigma^3_{i=1}W_ix_i+b)hW,b(x)=f(WTx)=f(Σi=13Wixi+b)
其中，WWW是权重，fff是激活函数，xxx是特征，bbb是偏置（可类比截距）。

Example:

X=[3,1,2]X=[3,1,2]X=[3,1,2]，W=[0.4,0.6,0.5]W=[0.4,0.6,0.5]W=[0.4,0.6,0.5]，H(a)=a/10H(a)=a/10H(a)=a/10
then W∗X=3∗0.4+1∗0.6+2∗0.5=2.8W*X=3*0.4+1*0.6+2*0.5=2.8W∗X=3∗0.4+1∗0.6+2∗0.5=2.8 and H(W∗X)=H(2.8)=0.28H(W*X)=H(2.8)=0.28H(W∗X)=H(2.8)=0.28.

Logistic回归模型

将神经元的激活函数设为sigmoid函数，则这个神经元就是一个二分类Logistic回归模型。
sigmoid函数表达式：
f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1

我们可以看到，sigmoid函数有几个性质：（1）sigmoid函数的取之范围在0-1之间；（2）sigmoid函数是一个对称函数，对称点在(0,0.5)(0,0.5)(0,0.5)；（3）在[−6,6][-6,6][−6,6]之间曲线比较陡。
而概率也是在0-1之间。所以我们可以定义，在二分类的情况下，
P(Y=0∣x)=hw(x)=11+e−wTxP(Y=0|x)=h_w(x)=\frac{1}{1+e^{-w^Tx}}P(Y=0∣x)=hw(x)=1+e−wTx1
P(Y=0∣x)=1−hw(x)=e−wTx1+e−wTxP(Y=0|x)=1-h_w(x)=\frac{e^{-w^Tx}}{1+e^{-w^Tx}}P(Y=0∣x)=1−hw(x)=1+e−wTxe−wTx

神经网络（二）—— 神经元、Logistic回归模型相关推荐

R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息（自变量初始和调整后的优势比及置信区间，回归系数的Wald检验的p值、简化汇总结果
R语言使用epiDisplay包的logistic.display函数获取二分类logistic回归模型的汇总统计信息(自变量初始和调整后的优势比及置信区间,回归系数的Wald检验的p值.自变量的似然 ...
R语言glm函数构建二分类logistic回归模型、epiDisplay包logistic.display函数获取模型汇总统计信息（自变量初始和调整后的优势比及置信区间，回归系数的Wald检验的p值
R语言glm函数构建二分类logistic回归模型(family参数为binomial).使用epiDisplay包logistic.display函数获取模型汇总统计信息(自变量初始和调整后的优势比 ...
二分类Logistic回归模型
Logistic回归属于概率型的非线性回归,分为二分类和多分类的回归模型.这里只讲二分类. 对于二分类的Logistic回归,因变量y只有"是.否"两个取值,记为1和0.这种值为0 ...
广义线性模型（Generalized Linear Model）之二：Logistic回归
广义线性模型(Generalized Linear Model)之二:Logistic回归一.引入:多元线性回归模型二.Logistic回归模型三.非条件logistic回归模型 (一)介绍 ( ...
logistic回归模型总结
logistic回归模型是最成熟也是应用最广泛的分类模型,通过学习和实践拟通过从入门.进阶到高级的过程对其进行总结,以便加深自己的理解也为对此有兴趣者提供学习的便利. 一.有关logistic的基本概 ...
【Clemetine】基于二项Logistic回归的电信客户流失预测
一.实验目的及要求 1.掌握Logistic回归分析的基本步骤.原理.软件实现.结果分析: 2.理解多重共线性的概念.原理及岭轨迹的软件实现: 3.了解高维数据分析的应用领域及分析方法. 二.实验仪器 ...
解读Logistic回归模型
一.logistic回归的由来 logistic回归在百度百科是这样定义的: logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领 ...
R语言Logistic回归模型案例基于AER包的affair数据分析
R语言Logistic回归模型案例基于AER包的affair数据目录 R语言Logistic回归模型案例基于AER包的affair数据 #数据加载及目标变量二值化
请你介绍下Logistic回归模型？
请你介绍下Logistic回归模型? 逻辑回归(Logistic Regression)是机器学习中的一种分类模型(注意,不是回归模型,虽然叫logistic Regression),由于算法的简单和 ...
Softmax回归——logistic回归模型在多分类问题上的推广
Softmax回归 Contents [hide] 1 简介 2 代价函数 3 Softmax回归模型参数化的特点 4 权重衰减 5 Softmax回归与Logistic 回归的关系 6 Softma ...

神经网络（二）—— 神经元、Logistic回归模型

神经网络

神经元——最小的神经网络

Example:

Logistic回归模型

神经网络（二）—— 神经元、Logistic回归模型相关推荐

最新文章

热门文章