入门机器学习(七)--神经网络

1. 非线性假设(Non-linear hypotheses)

如下图所示，如果要分类该非线性数据集，应该怎么做呢？

根据之前学习的逻辑回归算法，可以用一下假设函数来分类该数据集：

其中函数g是sigmoid函数，分类的结果如下图所示。

这是一个特征数为2的非线性分类的粒子，回到之前所学的房价问题，如下图所示，如果特征比较多，多达100个，此时如果用逻辑回归的话，假设函数的特征将多达5000个。

再比如汽车图片分类问题，怎么判断一张图片里面包含汽车呢？

如果要对一个图片进行判断是否有汽车，那需要对图片的每一个像素点作为一个输入，经过分类算法之后得出结果。如果50*50的黑白图片的话，共计有2500个像素点，也就是说输入特征的数目为2500，像上图所示的RGB图片要有7500个像素点。

对于2500个像素点，如果利用逻辑回归方法分类的话，其假设函数有大约300万个变量！这对于该分类方法有巨大的计算压力，所以解决这一问题的有效图就是利用神经网络！

2. 神经模型(Neuron model)

2.1 逻辑单元

神经模型的逻辑单元可以表示为如下的形式，假设有三个输入x1,x2,x3，每个输入都和输出有连接，每条连接上都有相对应的权重θ1,θ2,θ3，表示每个输入对输出的影响力的大小。

输出与输入的关系可以表示为：

其中函数g为sigmoid函数

2.2 神经网络

神经网络由若干个神经逻辑单元组成，下图所示是一个简单的神经网络，一共有三层，三个输入，一个输出，第一层称为输入层，第二层称为隐藏层，第三层称为输出层。

其中：

表示的是第j层，第i个激活值

表示的是从第j层到第j+1层的权值矩阵

表示的是第j层到第j+1层中，第n个输入与第m个输出之间的链接权重。

上图中的关系可以表示为：

2.3 神经网络的向量表示

令：

那么神经网络隐藏层的输出可以表示为：

未激活的输出可以表示为：

激活之后的输出为：

3. 神经网络应用举例

如果用神经网络实现异或操作XNOR，该怎么做呢？异或可以分解为：

x1 XNOR x2 = (x1 AND x2) OR [(NOT x1) AND (NOT x2)]

所以要实现异或操作，可以分别用神经网络实现AND与操作，OR或操作和(NOT x1) AND (NOT x2)即可

3.1 x1 AND x2

其中的+1是神经网络的偏置。

3.2 (NOT x1) AND (NOT x2)

3.3 x1 OR x2

3.4 异或的实现x1 XNOR x2

异或就是前两个简单网络的组合，分别计算x1 AND x2以及(NOT x1) AND (NOT x2)，最后在计算 x1 OR x2:

其输出结果可以表示为：


0	0	0	1	1
0	1	0	0	0
1	0	0	0	0
1	1	1	0	1

入门机器学习(七)--神经网络相关推荐

入门机器学习(八)--神经网络参数的反向传播算法
1. 代价函数(Cost Function) 假设我们拥有一个如下图所示的神经网络,一共有四层,分别是一层输入层,两层隐藏层,一层输出层.下面定义几个变量的意义: m:训练样本的个数,共有m个样本 L ...
【转】机器学习入门——浅谈神经网络
[转] 机器学习入门--浅谈神经网络本文转自:https://blog.csdn.net/bitjoy/article/details/50464989 先从回归(Regression)问题说起.我 ...
A.机器学习入门算法[七]：基于英雄联盟数据集的LightGBM的分类预测
[机器学习入门与实践]入门必看系列,含数据挖掘项目实战:数据融合.特征优化.特征降维.探索性分析等,实战带你掌握机器学习数据挖掘专栏详细介绍:[机器学习入门与实践]合集入门必看系列,含数据挖掘项目实 ...
系统学习机器学习之神经网络（七） --CPN
原文:http://blog.csdn.net/u014070279/article/details/47299987 1987年,美国学者Robert Hecht-Nielsen提出了对偶传播神经网 ...
新手入门机器学习十大算法
新手入门机器学习十大算法 2018年9月17日磐石 TensorFlowNews, 机器学习 0 在机器学习的世界中,有一种被称为"无免费午餐"的定理. 它意在说明没有哪种算法能 ...
新书上市 | 数学不好，Python不行，还能入门机器学习吗？
没错,图灵君又来安利好书了! 什么书?机器学习?机器学习的书已经很多了,这本有啥特别的吗? 当然有. 话说有位日本网友,买了40多本数学和机器学习相关的书,愣是没有学会,直到遇到了这本,那叫一个相见恨 ...
干货丨入门机器学习，从搞懂这8大经典算法开始
在机器学习领域,"没有免费的午餐"是一个不变的定理.简而言之,没有一种算法是完美的,可以作为任何问题的最佳解决方案.认清这一点,对于解决监督学习问题(如预测建模问题)尤其重要.我们 ...
文科生如何入门机器学习：先看看这篇零基础教程，再多算几遍吧
晓查发自凹非寺量子位出品 | 公众号 QbitAI AI技术变得越来越热门,很多人开始转行进入这一领域,其中当然也不乏文科生.他们在普遍缺乏大学数学知识的情况下,就不能入门机器学习了吗? 最近 ...
Steam高赞游戏入门机器学习！不写代码，人人可玩，又能吸猫，汉化版已推出...
栗子乾明发自凹非寺量子位报道 | 公众号 QbitAI 撸猫.咖啡,玩游戏. 但我其实是在入门机器学习. 2019年最简单有趣的入门方式,就在这里: Steam高赞游戏,极度易上手. 现在 ...

入门机器学习(七)--神经网络

入门机器学习(七)--神经网络相关推荐

最新文章

热门文章