《白话机器学习的数学》笔记02

目前以立石贤吾的《白话机器学习的数学》一书来作为深度学习的入门基础第一本参考书。意在了解机器学习与深度学习中所用到的基础数学知识与数学模型。

逻辑回归

上次看到感知机只能解决线性可分问题，本次来讨论如何解决线性不可分问题。
之前我们学习的是通过判别函数直接对图像进行分类，而本次所学习的分类则是通过概率来进行分类的算法，所用到的函数也是神经网络中的“老朋友”，sigmoid。

θ^Tx = 0 时，f_θ(x)=0.5，以及 0 < f_θ(x) < 1 是 sigmoid 函数的两个特征。
根据函数图像我们可以知道θ^Tx的正负关系着函数值究竟大于还是小于0.5，也就是说会影响我们判断的结果。
例如给定一组θ数值，令θ^Tx≥0。

那么即可得到上图中阴影区域为可能性大的数据区域。其他区域则为可能性小于0.5的数值区域，这条分界线就被称之为决策边界。
上述例子的θ值为随便选择的一组值，而为了准确分类，需要对θ进行参数更新。

似然函数

上一节所使用的参数更新的目标函数是误差函数，目标为越小越好，本次由于函数值为0-1之间的概率，所以目标为判断正确的概率越大越好。此外，上一节的误差是将数据中的每个数据的误差进行平方后相加，而概率函数用这个显然不太合适，概率中的连续往往是以乘积的形式来体现的，所以本节目标函数的逻辑为将每次判断的概率进行连乘，越高说明判断正确的次数越多，准确性越高。

但是像联合概率这种概率乘法的值会越来越小，会出现计算量和计算精度的问题，所以采用对数函数，将乘法转化为加法，由于log函数本身单调递增，所以取对数后并不会影响取最大值。

接下来仿照上一节的做法，让目标函数对参数θj做微分，求出参数更新式。此处过程大体与上节相同，有个sigmoid函数微分可以注意下。

最终结果如下，注意，此处参数是为寻找最大值，所以方向与导数方向相同。

线性不可分

对于线性不可分的问题，因为分类也是在寻找一条线，所以我们可以参考上一篇笔记中多项式回归的思想，增加x的高次项。

例如将θ设置为下面的向量

代入可得

那么分类曲线就是这种结果

所以通过这种办法，就可以完成复杂形状的决策边界，实现复杂的分类效果。

深度学习小白笔记（白话机器学习的数学02）相关推荐

深度学习入门---《白话机器学习的数学》笔记
文章目录一.基础:回归的实现 1.训练数据click.csv 2.参考公式: 3.代码实现: 4.运行结果: 5.验证: 二.多项式回归 1.参考公式 2.代码实现 3.运行结果三.随机梯度下降法 ...
读书笔记-白话机器学习的数学
文章目录回归线性回归步骤公式使用矩阵表示优化算法问题扩展分类感知机步骤公式逻辑回归公式线性不可分扩展正则化公式基础模型评估分类问题正则化过拟合正则化参 ...
torch的拼接函数_从零开始深度学习Pytorch笔记（13）—— torch.optim
前文传送门: 从零开始深度学习Pytorch笔记(1)--安装Pytorch 从零开始深度学习Pytorch笔记(2)--张量的创建(上) 从零开始深度学习Pytorch笔记(3)--张量的创建(下) ...
白话机器学习的数学学习笔记（-）
机器学习越来越成为未来科技进步的推动,其中的数学理论还是需要学习和补充的,今天购买了<白话机器学习的数学>一书,就把相关学习到的知识做下笔记,供感兴趣的伙伴一起回顾. 一.1950年左右人 ...
【反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人（3/10）】
反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人(3/10) 数学推导 BP算法 BP神经网络可以说机器学习的最基础网络.对于普通的简单 ...
深度学习入门笔记（一）：机器学习基础
专栏--深度学习入门笔记推荐文章深度学习入门笔记(一):机器学习基础深度学习入门笔记(二):神经网络基础深度学习入门笔记(三):感知机深度学习入门笔记(四):神经网络深度学习入门笔记(五) ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...
吴恩达老师的机器学习和深度学习课程笔记打印版
注意:下载笔记.视频.代码:请点击"阅读原文" 我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在github上,下载后可以打印. 公布了深度学习笔记的word和ma ...
新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...

深度学习小白笔记（白话机器学习的数学02）

《白话机器学习的数学》笔记02

逻辑回归

似然函数

线性不可分

深度学习小白笔记（白话机器学习的数学02）相关推荐

最新文章

热门文章