八、神经网络：表述

8.1 非线性假设

~~~~~~ 对于特征数很多的逻辑回归，其特征空间会膨胀，因为h_θ(x)中会含有很多多次项，比如x₁²，x₁x₂，…；

如果包含二次项的话，那么估计一共会有O(n²)项，考虑三次项则会有O(n³)项；

这是一种包含很多个特征的复杂的非线性假设问题；

Q：为什么提出神经网络？
~~~~~~ 只是包括平方项或者立方项特征，简单的logistic回归算法并不能在n很大时学习复杂的非线性假设，因此引入神经网络，它在学习复杂的非线性假设上被证明是一种好的多的算法，即使输入的特征有很多个；

8.2 神经元和大脑

~~~~~~ 大脑是个神奇的东西，把任何传感器移入大脑，大脑的自学习算法就能学会如何使用它，找出数据的方法，并学会处理它；

神经元模型：逻辑回归单元

神经网络：多个神经元连接在一起的集合；

前向传播 Forward propagation

其它神经网络架构

但都是后一层将前一层的输出当作输入进行处理，然后传给下一层；中间的隐藏层因为既有输入也有输出，所以它并不是单一的输入输出层；
上面都太抽象了，很懵；

8.3 神经网络举例

异或取反操作：

XOR表示异或操作；XNOR 和 NOT (x₁XORx₂)表示同或（异或取反），二者相同时才为真；

或操作：

至于权重（系数）怎么来的，这就是神经网络要解决的问题了，它通过调整权重来实现这些运算，好像是后面要学的反向传播；
取反操作：

用神经网络来将三者转换成同或：

8.4 多元分类问题

一个输入，多个输出：

就是独热编码 one hot；
独热编码即 One-Hot 编码，又称一位有效编码，其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

例如：

自然状态码为：000,001,010,011,100,101独热编码为：000001,000010,000100,001000,010000,100000

可以这样理解，对于每一个特征，如果它有m个可能值，那么经过独热编码后，就变成了m个二元特征（如成绩这个特征有好，中，差变成one-hot就是100, 010, 001）。并且，这些特征互斥，每次只有一个激活。因此，数据会变成稀疏的。

这样做的好处主要有：

解决了分类器不好处理属性数据的问题，将类别变量转换成新增的虚拟变量/指示变量；
在一定程度上也起到了扩充特征的作用；
缺点就是：
特征量将会变得很多，数据经过独热编码可能会变得过于稀疏；

吴恩达《机器学习》第八章：逻辑回归相关推荐

吴恩达机器学习课后习题——逻辑回归
机器学习课后作业-逻辑回归逻辑回归逻辑回归算法,是一种给分类算法,这个算法的实质是:它输出值永远在0到 1 之间. 将要构建一个逻辑回归模型来预测,某个学生是否被大学录取.设想你是大学相关部分的管 ...
吴恩达机器学习 8.6 逻辑回归(Logistic Regression)
6.1 分类问题参考文档: 6 - 1 - Classification (8 min).mkv 在这个以及接下来的几个视频中,开始介绍分类问题. 在分类问题中,你要预测的变量 $y$ 是离散的值, ...
吴恩达机器学习之线性逻辑回归实现部分
C++实现 "linear_regression.h" //二分类逻辑回归模型 struct elem_log {double y;double* x; //用数组传入自变量数据( ...
吴恩达机器学习作业二——逻辑回归
有了作业一的铺垫,作业二的代码更容易理解了. 逻辑回归题目描述:在训练的初始阶段,我们将要构建一个逻辑回归模型来预测,某个学生是否被大学录取.设想你是大学相关部分的管理者,想通过申请学生两次测试的评 ...
吴恩达第三周逻辑回归
分类问题我们尝试预测的是结果是否属于某一个类(例如正确或错误) 分类举例判断一封电子邮件是否是垃圾邮件判断一次金融交易是否是欺诈判断一个肿瘤是恶性的还是良性的考查二元分类问题我们将因变量( ...
吴恩达机器学习笔记 —— 7 Logistic回归
http://www.cnblogs.com/xing901022/p/9332529.html 本章主要讲解了逻辑回归相关的问题,比如什么是分类?逻辑回归如何定义损失函数?逻辑回归如何求最优解?如何 ...
吴恩达机器学习作业1-线性回归讲解版奔雷手
机器学习作业 1 - 线性回归奔雷手 1.单变量线性回归导入需要使用的包 import numpy as np import pandas as pd import matplotlib.pypl ...
吴恩达作业1：逻辑回归实现猫的分类
思路:输入样本X与随机初始权重W相乘,利用sigmoid激活函数输出值,对于二分类问题,用交叉熵损失函数来计算损失值,通过交叉熵损失函数利用链式法则求出W和b的偏导,梯度下降更新W和b即可,(梯度下降 ...
吴恩达|机器学习作业2.0Logistic 回归
2.0.Logistic 回归 1)题目: 在本部分的练习中,您将使用Logistic回归模型来预测一个学生是否被大学录取.假设你是大学某个院系的管理员,你想通过申请人在两门考试中的表现来决定每个人的 ...
吴恩达机器学习作业1-线性回归
题目概述: 整个2的部分需要根据城市人口数量,预测开小吃店的利润数据在ex1data1.txt里,第一列是城市人口数量,第二列是该城市小吃店利润. 用到2个公式: 代价函数: 批量梯度下降进行优化 ...

吴恩达《机器学习》第八章：逻辑回归

文章目录