准备做一系列神经网络算法，适合初学入门，是一种笔记的形式，由浅入深，参考吴恩达老师视频。

1 神经网络算法与大脑神经元的关系

图片来源网络

说起神经网络算法，你可能都听过，很神秘，甚至会和大脑神经元联系在一起，但我想说的是他们之间不能说没有联系，只能说毫无关联。

当前这都是一些玩笑话，神经网络算法初期受到大脑神经元的启发，但发展到现在没有谁能清楚明白的说明大脑是怎样工作的，所以强说他们之间的关系是毫无根据的，特别是初学者强行要把神经网络算法与大脑神经元联系在一起，除了增加一层神秘感，还有的就是增加学习难度。

如果你想学习神经网络算法，大可不必去了解神经元的任何知识，首要学习的是简单的逻辑回归。

2 逻辑回归

logistic回归又称logistic回归分析，是一种广义的线性回归分析模型。

图1

这是一个浅层的2层神经网络，图中每一个圆圈代表一个计算单元，具体如下：

图2

[x1 x2 x3]从上一层输入经过加权求和、 $\sigma$ 函数激活输出 $a$ ，公式如下：

$z=x_{1}*w_{1}+x_{2}*w_{2}+x_{3}*w_{3}+b$

$a=\sigma (z)$

其中激活函数σ常用有sigmoid函数，tanh函数，ReLU函数。

图1中每个计算单位从左到右依次经过图2一遍计算过程为一次前向传播。

3 常用激活函数

常用有sigmoid函数，tanh函数，ReLU函数。

3.1 sigmoid

公式

$g(z)=1/(1+e^{-z})$

图形

求导

$g(z)=g(z)(1-g(z))$

3.2 tanh

公式

$g(z)=(e^{z}-e^{-z})/(e^{z}+e^{-z})$

图形

求导

${g}'(z)=1-g(z)^{2}$

3.3 ReLU

公式

$g(z)=\left\{\begin{matrix} z, z>0 \\ 0 , z<0\end{matrix}\right.$

图形

求导

${g}'(z)=\left\{\begin{matrix} 1, z>0 \\ 0 , z<0\end{matrix}\right.$

3.4 ReLU改进

公式

$g(z)=\left\{\begin{matrix} z\, , z>0 \\ az , z<0\end{matrix}\right.$

图形

导数

${g}'(z)=\left\{\begin{matrix} 1, z>0 \\ a , z<0\end{matrix}\right.$

神经网络算法开篇——逻辑回归相关推荐

神经网络基础及逻辑回归实现
神经网络基础及逻辑回归实现 1. Logistic回归 1.1 Logistic回归逻辑回归是一个主要用于二分分类类的算法.逻辑回归是给定一个x , 输出一个该样本属于1对应类别的预测概率=P( ...
Coursera吴恩达《神经网络与深度学习》课程笔记（2）-- 神经网络基础之逻辑回归...
转至:https://blog.csdn.net/red_stone1/article/details/77851177 上节课我们主要对深度学习(Deep Learning)的概念做了简要的概述.我 ...
Coursera吴恩达《神经网络与深度学习》课程笔记（2）-- 神经网络基础之逻辑回归
红色石头的个人网站:redstonewill.com 上节课我们主要对深度学习(Deep Learning)的概念做了简要的概述.我们先从房价预测的例子出发,建立了标准的神经网络(Neural Net ...
python机器学习手写算法系列——逻辑回归
从机器学习到逻辑回归今天,我们只关注机器学习到线性回归这条线上的概念.别的以后再说.为了让大家听懂,我这次也不查维基百科了,直接按照自己的理解用大白话说,可能不是很严谨. 机器学习就是机器可以自己学 ...
吴恩达《神经网络和深度学习》第二周编程作业—用神经网络思想实现逻辑回归
吴恩达<神经网络和深度学习>-用神经网络思想实现逻辑回归 1 安装包 2 问题概述 3 学习算法的一般架构 4 构建算法的各个部分 4.1 激活函数 4.2 初始化参数 4.3 前向和后向 ...
朴素贝叶斯算法和逻辑回归算法的区别？
朴素贝叶斯算法和逻辑回归算法的区别? 1.两种算法的模型不同: Naive Bayes是一个生成模型,在计算P(y|x)之前,先要从训练数据中计算P(x|y)和P(y)的概率,从而利用贝叶斯公式计算P ...
sklearn分类器算法：逻辑回归及案例分析
分类算法之逻辑回归逻辑回归(Logistic Regression),简称LR.它的特点是能够是我们的特征输入集合转化为0和1这两类的概率.一般来说,回归不用在分类问题上,因为回归是连续型模型,而且 ...
推荐算法之逻辑回归模型族
目录 1.协同过滤算法族的不足 2.逻辑回归算法 3.Poly2算法 4.FM算法 5.FFM 1.协同过滤算法族的不足之前的协同过滤算法族局限在于,它仅仅关注用户与物品的交互信息(受限于共现矩阵) ...
机器学习算法 03 —— 逻辑回归算法(精确率和召回率、ROC曲线和AUC指标、过采样和欠采样)
文章目录系列文章逻辑回归 1 逻辑回归介绍 1.1 逻辑回归原理输入激活函数 1.2 损失以及优化 2 逻辑回归API介绍 3 案例:肿瘤良性恶性预测 4 分类模型的评估 4.1 分类评估方法 ...
sklearn分类算法（逻辑回归、朴素贝叶斯、K近邻、支持向量机、决策树、随机森林）的使用
scikit-learn机器学习的分类算法包括逻辑回归.朴素贝叶斯.KNN.支持向量机.决策树和随机森林等.这些模块的调用形式基本一致,训练用fit方法,预测用predict方法.用joblib.du ...

神经网络算法开篇——逻辑回归