《机器学习》 周志华学习笔记第三章 线性模型（课后习题）python 实现
线性模型
一、内容
1.基本形式
2.线性回归：均方误差是回归任务中最常用的性能度量
3.对数几率回归：对数几率函数（logistic function）对率函数是任意阶可导的凸函数，这是非常重要的性质。
4.线性判别分析（LDA 是一种降维的方法）
5.多分类学习：
5.1基于一些基本策略，利用二分类学习器来解决多分类问题，拆分策略：一对一（OvO）一对其余（OvR）多对多(MvM):MvM的一种常用技术，纠错输出码（Error Correcting Output Codes,ECOC）
6.类别不平衡问题：1.欠采样2.过采样3.阈值移动
二、习题
1.试分析在什么情况下，在以下式子中不比考虑偏置项b。
在线性回归中，所有参数的确定都是为了让残差项的均值为0且残差项的平方和最小。在所有其他参数项确定后，偏置项b（或者说是常数项）的变化体现出来的就是拟合曲线的上下整体浮动，可以看做是其他各个解释变量留下的bias的线性修正。因此在线性拟合过程中是需要考虑偏置项的。
但是参考其他人答案，可以对训练集每个yangben都减去第一个yangben，然后对新的yangben做线性回归，这样就消除了b,只需要用模型y=wt。
2.试证明，对于参数w，对率回归（logistics回归）的目标函数（式1）是非凸的，但其对数似然函数（式2）是凸的。
3.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel
4.未完成
5.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel
6.在当前的维度如果不可分，选择选择适当的映射方法，使其在更高维度上线性可分。
参考https://blog.csdn.net/icefire_tyh/article/details/52069025
http://www.cnblogs.com/zhusleep/p/5621932.html
《机器学习》 周志华学习笔记第三章 线性模型（课后习题）python 实现相关推荐
- 《机器学习》 周志华学习笔记第四章 决策树（课后习题）python 实现
一.基本内容 1.基本流程 决策树的生成过程是一个递归过程,有三种情形会导致递归返回 (1)当前节点包含的yangben全属于同一类别,无需划分: (2)当前属性集为空,或是所有yangben在所有属 ...
- 《机器学习》 周志华学习笔记第六章 支持向量机（课后习题）python 实现
一. 1.间隔与支持向量 2.对偶问题 3.核函数 xi与xj在特征空间的內积等于他们在原始yangben空间中通过函数k(.,.)计算的结果. 核矩阵K总是半正定的. 4.软间隔与正则化 软间隔允许 ...
- 《机器学习》 周志华学习笔记第五章 神经网络（课后习题） python实现
1.神经元模型 2.感知机与多层网络 3.误差逆传播算法 (A)BP算法:最小化训练集D上的累积误差 标准BP算法:更新规则基于单个Ek推导而得 两种策略防止过拟合:(1)早停(通过验证集来判断,训练 ...
- 《机器学习》 周志华学习笔记第七章 贝叶斯分类器（课后习题）python 实现
课后习题答案 1.试用极大似然法估算西瓜集3.0中前3个属性的类条件概率. 好瓜有8个,坏瓜有9个 属性色泽,根蒂,敲声,因为是离散属性,根据公式(7.17) P(色泽=青绿|好瓜=是) = 3/8 ...
- 《机器学习》周志华 学习笔记
<机器学习>周志华 学习笔记 第一章 绪论 1.1 引言 机器学习:致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. 经验:"经验"通常以"数据& ...
- 机器学习-周志华-学习记录-第一章绪论
文章目录 绪论 一.什么是机器学习 二.基本术语 三.假设空间 四.归纳偏好 总结 参考链接 绪论 为了更早地适应研究生的生活,我决定重新学习周志华老师的机器学习这本书.同时也为了能够养成博客记录的习 ...
- 周志华西瓜书第三章学习笔记
第三章学习笔记 文章目录 第三章学习笔记 1.知识脉络 2.我的笔记 参考 1.知识脉络 2.我的笔记 这一章公式推导实在太多了,需要补充的推导过程也有很多,就不写电子档了.扩展公式推导和LDA部分补 ...
- 《机器学习》 周志华学习笔记第二章 模型评估与选择（课后习题）
模型选择与评估 一.内容 1.经验误差与过拟合 1.1 学习器在训练集上的误差称为训练误差(training error),在新样本上的误差称为泛化误差(generalizion error). 1. ...
- 《机器学习》 周志华学习笔记第一章 绪论（课后习题）
最近需要学习机器学习,有一点点基础但是很少,希望能通过写博客的方式和大家交流以及学习达到共同进步的目的. 绪论 : 一.内容 1.基本术语 2.假设空间与版本空间 3.归纳偏好(常用的有奥卡姆剃刀) ...
最新文章
- “一切都是消息”--iMSF（即时消息服务框架）入门简介
- ASP.NET 3.5 的 ListView 控件与 CSS Friendly
- java httpinvoker漏洞_Java反序列化漏洞学习
- 001 FSG 1.33变形壳
- 老李分享：Web Services 组件 1
- 软件项目管理的质量保证
- python必背入门代码和入门基础知识,你知道吗
- CSDN上传资源与修改下载所需积分的问题
- VL02N货物移动报错：消息号M7093 “对于移动类型643和账户XXX业务范围(033)的不同字段选择“
- OkHttp的Okio在CacheInterceptor中的应用
- Nginx 防攻击安全配置
- 搜狗技术开放日招募令 | 免费报名，与搜狗AI大咖面对面!
- 《土力学与地基基础(二)》在线平时作业2
- ArcGIS学习教程免费版在线观看
- 一文读懂大数据及大数据产业
- 凯撒密码c语言公式原理,凯撒密码 C语言实现.pdf
- 中文数字和阿拉伯数字之间互相转化
- iOS App集成AirKiss技术
- Bootstrap EasyUI WEB开发框架
- 通道趋势策略结合马丁的ea编程实践（九）附运行成果