第五章课后习题答案

---

一、试述将线性函数f(x) = wTx用作神经元激活函数的缺陷？

使用线性函数作为激活函数时，因为在单元层和隐藏层，其单元值仍是输入值X的线性组合。
若输出层也用线性函数作为激活函数，达不到“激活”与“筛选”的目的，这样相当于整个的线性回归。

二、试述使用图5.2(b)激活函数的神经元与对率回归的联系

对率回归，是使用Sigmoid函数作为联系函数时的广义线性模型。
对于单位阶跃函数（如左图所示）：

单位阶跃函数不连续，难以求导，所以用对数几率函数代替。
对于对率函数（如以上右图所示）：

使用Sigmoid激活函数，每个神经元几乎和对率回归相同，只不过对率回归在 [sigmoid(x)>0.5] 时输出为1，而神经元直接输出 [sigmoid(x)] 。

三、对于图5.7中的Vih,试推导出BP算法中的更新公式(5.13).

四、试述式(5.6)中学习率的取值对神经网络训练的影响.

学习率太低，每次下降得很慢，使得迭代次数增多，各种开销增大。
学习率太高，会在梯度下降最低点来回震荡，难以得到想要的结果。

五、试编程实现标准BP算法和累积BP算法,在西瓜数据集3.0上分别用这两个算法训练一一个 单隐层网络,并进行比较.

假设一个单隐层BP网络中，d个输入节点，隐层有q个神经元，输出层l个神经元。
BP算法要训练的参数有
输入层与隐层全连接的权值vijvij dq个
隐层神经元阀值θiθi q个
隐层与输出层全连接的权值wijwij q|个
输出层神经元阀值yiyi l个

BP算法每次迭代依次计算每一个样本， 最小化该样本输出值与真实值的差距，然后将修改过参数传给下一个样本，直到达到收敛条件。这样做参数更新频繁，也可能出现参数更改相互抵销的情况，于是便有了ABP。ABP算法每次迭代会先算出所有样本的输出,然后最小化整个样本输出与真实值的最小平方和,修改参数后进行下一-次迭代。ABP参数更新次数比BP算法少的多,但是当累计误差降到-定程度时，进-步下降会非常缓慢。

迭代终止条件:这里设置的终止条件是相邻一百次迭代的累计误差的差值不超过0.001.

BP算法结果:
在西瓜数据集3上迭代1596次迭代，使得累计误差达到0.0013,此时对比表为

ABP：与BP算法最大的不同是参数在计算完全部样本才更改，由于ABP后期下降很慢，所以ABP的终止条件是经过1660次迭代。累计误差达到0.0015.

六、试设计一个BP改进算法,能通过动态调整学习率显著提升收敛速度.编程实现该算法，并选择两个UCI数据集与标准BP算法进行实验比较.

太难了，不会。

七、根据式(5.18)和(5.19)，试构造一个能解决异或问题的单层RBF神经网络.

①构造数据集

由此设计RBF网络
●输入层:由于有2个输入,所以输入层2个神经元
●隐层:隐层神经元越多拟合的越好，设为可变的t个，但至少要比输入层多1个。
●输出层: 1个神经元.
该网络的参数有：
●xy:样本参数
●wi:隐层第i个神经元与输出神经元的权值
●ci:隐层第i个神经元的中心
●βi:样本与第i个神经元的中心的距离的缩放系数
Ci通过对x聚类或者随即采样获得。
下面使用ABP算法来确定参数wi, βi;(由于是基于ABP来改的)

迭代次数：144
累计误差：0.000088
结果如下：

《机器学习》周志华课后习题答案——第五章（1-7已完结）相关推荐

1. 《机器学习》周志华课后习题答案——第三章 (1-7题)

   <机器学习>周志华课后习题答案--第三章 (1-7题) 文章目录 <机器学习>周志华课后习题答案--第三章 (1-7题) 一.试析在什么情形下式(3.2)中不必考虑偏置项b. ...

2. 机器学习-周志华-课后习题答案-线性模型

   3.1试分析在什么情况下,在以下式子中不比考虑偏置项b. 答:在线性回归中,所有参数的确定都是为了让残差项的均值为0且残差项的平方和最小.在所有其他参数项确定后,偏置项b(或者说是常数项)的变化体现出 ...

3. 机器学习-周志华-课后习题答案-决策树

   本文为博主原创,由于没有可以参考的答案,所以内容中若有错误的地方烦请指正,不甚感激. 注:本文中的代码均使用python,常用工具包包括 pandas,scikit-learn,numpy, scip ...

4. 机器学习-周志华-课后习题答案5.5

   5.5 试编程实现标准BP算法和累计BP算法,在西瓜数据集3.0上分别用这两个算法训练一个单隐层网络,并进行比较. 通过编程实践发现,在本例下要达到某一限定的均方误差时,标准BP算法比累积BP算法明显 ...

5. 《机器学习》周志华课后习题答案——第八章 (1-2已完结)

   <机器学习>周志华课后习题答案---第五章 (1-2已完结) 文章目录 <机器学习>周志华课后习题答案---第五章 (1-2已完结) 一.如图所示 二.如图所示 一.如图所示 ...

6. 《机器学习》周志华课后习题答案——第一章（1-3题完结）

   <机器学习>周志华课后习题答案--第一章 文章目录 <机器学习>周志华课后习题答案--第一章 一.表1.1中若只包含编号为1和4的两个样例,试给出相应的版本空间 二.与使用单个 ...

7. 机器学习 周志华 课后习题3.5 线性判别分析LDA

   机器学习 周志华 课后习题3.5 线性判别分析LDA 照着书上敲了敲啥都不会,雀食折磨 python代码 # coding=UTF-8 from numpy import * # 我安装numpy的时 ...

8. 机器学习-周志华-课后习题-模型选择与评估

   文中提到,在机器学习的过程中,过拟合总是无法彻底避免的.其中,关于P与NP的论述,个人理解为:对于一个有效的算法,它一定要在多项式时间内运行完成.此时,算法可以恰当程度地学习到所需要的知识,也就是说既 ...

9. 机器学习-周志华-课后习题-绪论

   绪论 假设空间:即所有可能的假设.他无关训练过程,是基本样本的可能做出的判断 版本空间:所有与训练集匹配的假设集合 奥卡姆剃刀(Occam's razor):若有多个与观察一致的假设,则选择其中最简单 ...

最新文章

1. 条理清晰的搭建SSH环境之添加所需jar包
2. 4月份不良与垃圾信息举报：垃圾邮件占37.4%
3. JZOJ 5609. 【NOI2018模拟3.28】Tree BZOJ 4919: [Lydsy1706月赛]大根堆
4. 领导者的资质——学习笔记（2）：领导者的人格
5. 60-30-012-使用-Kafka不停机删除topic数据（自动建立topic）md
6. Redux的学习笔记-（一）（B站学习笔记）
7. excel求回归直线方程的公式_如何用excel快速求线性回归方程？
8. Newton-Cotes 公式及代码
9. win10去掉快捷方式小箭头_强迫症狂喜！一招去除Win10桌面图标小箭头
10. maya linux 安装教程视频,教你怎样在 Archlinux 安装Maya7.01
11. 小程序内部引导关注公众号实现方法
12. windows 平台shellcode编写
13. 贪心算法－－最小耗费生成树(Prim算法)
14. 微软预览word_如何在Microsoft Word中更改语言
15. 成都大数据语言培训：如何提高数据分析能力
16. 编写程序求反正弦函数近似值
17. [Android]如何做一个崩溃率少于千分之三噶应用app（31）-组件化网络请求
18. 王思聪麾下的HR，被刷屏了！
19. mysql exist in engine_数据库Table doesn't exist in engine
20. 计算机考试随机出题,驾考宝典怎么随机出题 驾考宝典随机练习的教程

热门文章

1. The Linux Kernel Module Programming Guide 2.4 中文版
2. “隐形正畸第一股”时代天使还能飞多远？
3. Orcle 12c DG 新特性---Far Sync
4. 1. 彤哥说netty系列之开篇（有个问卷调查）
5. 局域网与城域网 - 以太网标准（百兆 100Base、千兆 1000Base、万兆 10GBase）
6. Stay Hungry. Stay Foolish
7. 我的世界四大微软签约服务器,一年吸纳1.5亿用户，《我的世界》宣布开启“阴阳师”等四大IP联动 - 全文...
8. 运筹优化（六）--目标规划定义及解法
9. 独家 | OpenAI的DALL·E模型使人类更接近通用人工智能（附链接）
10. 带上CSDN一起游国庆