神经网络：表述Neural Networks: Representatio

1.非线性假设Non-linear hypothese

我们之前学习的线性回归和逻辑回归都有这样的一个缺点：当特征太多负荷会非常大。

例如我们要训练一个分类器，让它检测一个图像，来判断图像是否为一辆汽车：

我们人来看当然是一目了然的事情，但是对计算机来说它只是一堆数字而已。

所以我们想到了在样本集里面，我们分为是车和不是车的两个样本集，然后将这个样本集输入给学习算法，让其训练出一个分类器。

设我们用50 * 50这么低像素的照片就好了，但仍然有2500个像素点，RGB图像其像素还要x3，也就是7500像素了。

假如我们用之前的二阶项解决这个问题，那么光特征量都有300万个了。
所以为了解决这种复杂的非线性分类问题，一种算法应运而生，这就是我们的神经网络。

2.神经元和大脑Neurons and braint

神经网络Neural Networks：
神经网络是一种古老的算法，他最初的目的是制造模拟大脑的机器。
神经网络逐渐兴起于二十世纪八九十年代，应用得非常广泛。但由于各种原因，在90年代后期应用减少了。但是最近神经网络又东山再起了，其中一个原因大概是近些年的计算机运行速度变快，才足以真正运行起大规模的神经网络。

举几个例子：

3.模型表示 Model representation I

大脑中的神经元：

神经网络算法其实是在模仿我们大脑中的神经元和这些神经元所构成的神经网络。
我们的大脑里面有很多这样的神经元，左边蓝色像树枝那样的就是神经元的输入神经：树突（Dendrite），它们负责接收来自其它神经元的信息。中心处理器也就是神经细胞核（Nucleus）。神经元的输出神经则是：轴突（Axon）。

神经元之间通过微弱的电流进行沟通，构成一张神经网络。那么我们在电脑上怎么模拟这种这么神奇的东西呢？

我们用一个简单的模型来模拟神经元的工作，我们将神经元模拟成一个逻辑单元。
神经元模型:逻辑单元

我们的输出的函数为：

神经网络：

4.模型表示2 Model representation II

其他神经网络：

我们可以把a0，a1,a2，a3看成更高级的特征值，也就是x0，x1，x2，x3，的进化体，并且他们由x决定的，因为是梯度下降，所以a是变化的，并且变化的越来越厉害，所以这些更高级的特征值远比仅仅x次方更厉害，也就能更好的预测数据。
这就是神经网络相比于逻辑回归和线性回归的优势。

5.特征和直观理解1Examples and intuitions I

非线性分类示例:XOR/XNOR

逻辑与AND：

逻辑或or:

6.特征和直观理解2 Examples and intuitions II

我们将之前所学的三个逻辑运算连接在一起：

手写数字识别分类：

7.多类别分类 Multi-class classification

在很多分类问题中，我们就不只有两个类别的分类了，那么应该怎么处理多类别分类呢？

如上图的例子，我们的输出分类就不只有一个 h(x) 了，而是我们把 h(x) 建立为一个具有四个输出单元的向量，为了对四个输出结果进行分辨，我们将其输出的结果分别对应不同的分类：

整个神经网络的模型就可以看作为：

机器学习之神经网络：表述相关推荐

吴恩达机器学习Week4神经网络表述
神经元模型定义:神经网路是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[Kohomen,1988]. 神经网络中最基本的成分是神经元(N ...
基于Apache Spark的机器学习及神经网络算法和应用
使用高级分析算法(如大规模机器学习.图形分析和统计建模等)来发现和探索数据是当前流行的思路,在IDF16技术课堂上,英特尔公司软件开发工程师王以恒分享了<基于Apache Spark的机器学习及 ...
机器学习实战-神经网络-21
机器学习实战-神经网络-手写数字识别项目 # pip install scikit-learn --upgrade from sklearn.neural_network import MLPClas ...
【机器学习】神经网络BP理论与python实例系列
理论部分 <机器学习--人工神经网络之发展历史(神经元数学模型.感知器算法)> <机器学习--人工神经网络之多层神经网络(多层与三层)> <机器学习--人工神经网络之后向 ...
机器学习——人工神经网络之BP算法编程（python二分类数据集：马疝病数据集）
目录一.理论知识回顾 1.神经网络模型 2.明确任务以及参数 1)待估参数: 2)超参数: 3)任务 3.神经网络数学模型定义 1)激活函数 2)各层权重.阈值定义 3)各层输入输出定义 4.优 ...
机器学习——人工神经网络之后向传播算法（BP算法）
目录一.后向传播算法的本质--梯度下降法求局部极值 1.w迭代公式的合理性二.后向传播算法的推导(以二层神经网络为例) 1.问题描述(创建目标函数loss函数,求参数) 2.求解参数的流程(四步曲 ...
机器学习——人工神经网络之多层神经网络（多层与三层）
目录一.多层神经网络 1.多层神经网络数学模型 2.数学模型中的非线性函数fai 1)非线性函数fai存在的意义 2)非线性函数fai具体是什么? 3.多层神经网络与单层神经网络的区别与改进 1)单 ...
机器学习——人工神经网络之发展历史（神经元数学模型、感知器算法）
目录一.神经元的数学模型二.感知器算法(SVM算法前身) 1.目的 2.流程 >>>问题1:下图w和b的调整是什么意思? 3.算法的有效性验证 1)原算法 2)增广矩阵 3) ...
猿宵节正确打开方式：你要的大数据、机器学习、神经网络…已配齐
导读:数据叔听说,程序猿们今晚要通宵了: 但数据叔真心希望,在这个以团圆为关键词的节日里,你能早点下班,跟家人一起过节.光说几句祝福的话好像诚意不够,数据叔再送一本书,愿你在新年开工之际提高姿势水平. ...
机器学习：神经网络的代价函数及反向传播算法
在<机器学习:神经网络的模型构建>中,我记录了神经网络的一些基础知识,包括神经网络的逻辑单元.模型表示.前向传播等等.这篇笔记中,我会整理神经网络的代价函数以及反向传播算法- 那么如何在给 ...

机器学习之神经网络：表述