机器学习基础（四十四）—

1. 随机搜索（random searching）

随机搜索不是一种非常好的优化算法，但是它却使我们很容易领会其他算法的意图，并且它也是我们评估其他算法优劣的基准（baseline）。

随机尝试各种解是非常低效的，因为这种方法没有充分利用已经发现的优解。直觉上，最优解总是接近于其他较优解。因为随机优化是盲目的、是跳跃的（jumps around），所以它不会自动去寻找与已经发现的优解相接近的题解。

（1）随机搜索迭代退出的条件一般是，达到最大迭代次数
```
for i in range(max_iters):
```

2. 爬山算法（Hill Climbing）

随机搜索的一个替代方案叫做爬山法，

（1）爬山法以一个随机解开始
（2）在其临近解中寻找更好的解，
（3）爬山算法的迭代结束的条件是，当前认为的最优和上一次保持一致；
```
while True:......if current == best:break
```

爬山算法的一个致命缺陷是，容易陷入局部最小值，它比临近解的表现都好，但却不是全局最优的。解决这一缺陷的一种方法称为随机重复爬山法（random-restart hill climbing）。

机器学习基础（四十四）—— 优化相关推荐

机器学习基础（十四）—— 统计计数、majority count 与其数学记号
编程与数学,程序语言与数学语言,如此完美地呼应,虽在表达上.在实现上略有差异. 获取一个序列中出现次数最多的元素,也即如果序列的每个位置都比做一个人(或者一个分类器),该位置上的值表示他做出的选择.投 ...
[系统安全] 四十四.APT系列(9)Metasploit技术之基础用法万字详解及防御机理
您可能之前看到过我写的类似文章,为什么还要重复撰写呢?只是想更好地帮助初学者了解病毒逆向分析和系统安全,更加成体系且不破坏之前的系列.因此,我重新开设了这个专栏,准备系统整理和深入学习系统安全.逆向分 ...
机器学习基础篇（四）——交叉验证
机器学习基础篇(四)--交叉验证一.概述交叉验证是在机器学习建立模型和验证模型参数时常用的办法.顾名思义,交叉验证就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集 ...
计算机视觉面试宝典--深度学习机器学习基础篇（四）
计算机视觉面试宝典–深度学习机器学习基础篇(四) 本篇主要包含SVM支持向量机.K-Means均值以及机器学习相关常考内容等相关面试经验. SVM-支持向量机支持向量机(support vector ...
Java SE基础（十四）常用API
Java SE基础(十四)常用API 概述 Object类构造方法成员方法 toString()方法 equals(Object obj)方法 Arrays排序 Arrays类概述 Arrays成 ...
SVM 支持向量机算法（Support Vector Machine ）【Python机器学习系列（十四）】
SVM 支持向量机算法(Support Vector Machine )[Python机器学习系列(十四)] 文章目录 1.SVM简介 2. SVM 逻辑推导 2.1 Part1 化简限制条件 2.2 ...
go设置后端启动_Go语言基础（十四）
Go语言基础(十四) 一.Redis 二.NSQ 三.Go module 四.Context......0 一.Redis Redis是一个key-value存储系统.和Memcached类似,它支持 ...
Python编程基础：第四十四节方法重写Method Overriding
第四十四节方法重写Method Overriding 前言实践前言我们前面说了,子类继承于父类,可以调用父类的所有属性和方法.那么如果我们想在继承的过程中重新书写父类的某些方法,此时就用到了方 ...
【正点原子Linux连载】第四十四章设备树下的LED驱动实验 -摘自【正点原子】I.MX6U嵌入式Linux驱动开发指南V1.0
1)实验平台:正点原子阿尔法Linux开发板 2)平台购买地址:https://item.taobao.com/item.htm?id=603672744434 2)全套实验源码+手册+视频下载地址: ...
【Visual C++】游戏开发笔记四十四浅墨DirectX教程十二网格模型和X文件使用面面观
本系列文章由zhmxy555(毛星云)编写,转载请注明出处. 文章链接: http://blog.csdn.net/zhmxy555/article/details/8586540 作者:毛星云(浅墨 ...

机器学习基础（四十四）—— 优化

1. 随机搜索（random searching）

2. 爬山算法（Hill Climbing）

机器学习基础（四十四）—— 优化相关推荐

最新文章

热门文章