终极算法——第五章：进化学派：自然的学习算法
本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。
罗纳德·费雪在他的经典著作《自然选择的遗传理论》中提出了关于进化的第一套数学理论。虽然这个理论很妙，但是霍兰德认为它遗漏了进化论的精华。
费雪孤立地看待每个基因，但是有机体的适应度就是它所有函数的复值函数。如果基因都是独立的，它们变量的相对频率会快速收敛至最大适应点，然后从此保持平衡。但如果基因相互作用，进化（追求最大适应度）就要复杂得多。
冯·诺依曼证明了自我再生机器的可能性。
遗传算法的关键输入就是一个适应度函数。
遗传算法有点像选择育种。
遗传算法能够频繁作弊的方法，就是允许有永不灭亡的东西。
霍兰德称类似这样（垃圾邮件分类）的规则集为“分类器系统”，是他建立的机器学习部落中的一匹“驮马”：演化新论。
分类系统和多层感知器相比，其应用范围要窄得多。
1972年，尼尔斯·埃尔德雷奇和史蒂芬·杰伊·古尔德提出进化过程由一系列“间断平衡”组成，长期的停滞和短暂的快速变化互相交替，就像寒武纪爆发那样。
当前的峰值越高，该过程（某次幸运变异或交叉）发生前的那段时间就越长。
我们应主义遗传算法和多层感知器的差异程度。反向传播会在任何给定时间坚持单一假设，而且这个假设会渐渐改变，直到适应某个局部最优值。遗传算法会在每一步中考虑整个群体的假设，而由于交叉行为，这些假设可以从这一代跨到下一代。
机器学习中最重要的问题之一（也是关于生命最重要的问题之一），就是探索——利用困境。
霍兰德没有哪个理论结果表明，交叉行为能起作用。
消除性别对于演化新论者来说，就只剩下变异作为其理论的推动力。
性可以保持群体的多样性。
性优化的不是适应度，而是他们所谓的“混合度”：当与其他基因结合时，一个基因表现出平均水平良好的能力。
演化新论者和联结学派重要的共同点是：他们都因为受到自然启发而设计了学习算法，不过后来分道扬镳了。演化新论者关注的是学习架构，对他们来说，通过参数优化来对演化的架构进行微调，这是此重要的事情。相反，联结学派更喜欢用一个简单、手工编写的结构，加上许多连接行为，然后让权值学习来完成所有工作。
终极算法既不是遗传编程，也不是反向传播，但它得包含这两者的重要部分：结构学习和权值学习。
如今在自然和人工进化中，都存在一个很重要的微妙之处。我们会为每个备选的结构而不仅仅是最终的那个，而一直学习权值，目的是为了明白这些结构在生存竞争（在自然情况下）以及训练数据（在人工条件下）中的表现如何。在每一步中，我们想选择的结构，是在掌握权值之后（而不是之前），表现最好的那个。因此，实际上，先天 自然并不一定会排在后天培育之前，它们是相互交替的，每轮中的“培育”学习会为下一轮的“自然”学习做好基础，反之亦然。
进化寻求好的结构，而神经学习则填满这些结构：这样的结合是我们走向终极算法最简单的一步。
最重要的是，机器学习的目标是尽可能找到最好的学习算法，利用一切可能的方法，而进化和大脑不可能提供学习算法。
与联结学派及演化新论者相反，富豪学派和贝叶斯学派不相信“法自然”的说法。
贯穿心科学和理学的很多领域：是描述性理论与规范性理论之间的分歧。是“这就是它的样子”与“这就是它应该成为的样子”之间的分歧。
终极算法——第五章：进化学派：自然的学习算法相关推荐
- 《C++应用程序性能优化::第五章动态内存管理》学习和理解
<C++应用程序性能优化::第五章动态内存管理>学习和理解 说明:<C++应用程序性能优化> 作者:冯宏华等 2007年版. 2010.8.29 cs_wuyg@126.com ...
- 深度学习算法原理_用于对象检测的深度学习算法的基本原理
深度学习算法原理 You just got a new drone and you want it to be super smart! Maybe it should detect whether ...
- 算法与数据结构简单启蒙，我当年学习算法走过的坑
1.碎碎念 我的算法启蒙来自于紫书算法竞赛入门经典,但是不得不说从语言过度到算法,紫书并不是一个很好的开始.当时整本书除了数学和图论其实是看完了的,但真的有印象的大约只有暴力枚举法中枚举排列,子集生成 ...
- 强化学习经典算法笔记(十九)：无监督策略学习算法Diversity Is All You Need
强化学习经典算法笔记19:无监督策略学习算法Diversity Is All You Need DIAYN核心要点 模型定义 目标函数的构造 DIAYN算法细节 目标函数的优化 SAC的训练 判别器的 ...
- 机器学习算法平台alink_Alink漫谈(十二) ：在线学习算法FTRL 之 整体设计
Alink漫谈(十二) :在线学习算法FTRL 之 整体设计 [Toc] 0x00 摘要 Alink 是阿里巴巴基于实时计算引擎 Flink 研发的新一代机器学习算法平台,是业界首个同时支持批式算法. ...
- 换发型算法_【AI超级美发师】深度学习算法打造染发特效（附代码）
原标题:[AI超级美发师]深度学习算法打造染发特效(附代码) 来源:OpenCV学堂 作者:胡耀武 [新智元导读]如今,在类似天天P图.美图秀秀等手机APP中,给指定照片或视频中的人物更换头发颜色已经 ...
- 统计学习方法第五章作业：ID3/C4.5算法分类决策树、平方误差二叉回归树代码实现
ID3/C4.5算法分类决策树 import numpy as np import math class Node:def __init__(self,feature_index=None,value ...
- mysql第五章上机事务_算法第五章上机实践
设有n件工作分配给n个人.将工作i分配给第j个人所需的费用为cij . 设计一个算法,对于给定的工作费用,为每一个人都分配1 件不同的工作,并使总费用达到最小. 输入格式: 输入数据的第一行有1 个正 ...
- 算法第五章上机实践报告
1.实践题目 :工作分配问题 2.问题描述 设有n件工作分配给n个人.将工作i分配给第j个人所需的费用为cij . 设计一个算法,对于给定的工作费用,为每一个人都分配1 件不同的工作,并使总费用达到最 ...
- 啊哈算法第五章 图的遍历
一.图的一些概念 简单来说,图是由顶点和连接这些顶点的边构成的集合.遍历就是指把图的每一个顶点都访问一次,用一个数表示各个顶点被第几个访问到,这个数就叫时间戳. 图的邻接矩阵存储法: 关联于同一条边的 ...
最新文章
- 分析一个文本（英文文章）（300k—500k）中的词出现的频率，并且把频率最高的10个词打印出来。...
- Jupyter notebook 不安装主题，通过修改css更改 默认字体，字体大小等
- 洛谷P2734 游戏 A Game
- 02-虚拟机克隆配置
- Compose Multiplatform 正式官宣，与 Flutter 必有一战？
- 6月14 空控制器和空操作及命名空间
- TTU智能配电终端_智能终端+正泰云平台，让配电网更“聪明”
- SpringMVC文件上传下载实战(单文件、多文件)
- 读书202101『股票大作手回忆录』
- 微信小程序画布canvas制作海报图片清晰度过低
- sdk 今日头条_今日头条商业SDK（激励视频）的坑
- 参数方程下的特殊图像
- 如何设置微信公众号关注后自动回复多条图文链接
- “2020年嵌入式软件秋招经验和对嵌入式软件未来的一点思考”
- 鸿蒙系统运行内存为啥只有8g,为什么手机运存是8G的，但是可用却只有5G？
- 离子感烟探测器的工作原理介绍
- v-model和v-bind
- java为什么计算时间从1970年1月1日开始
- thinkpad如何屏蔽bios更新 提示电池_华硕（圣骑）100系 200系 BIOS更新支持8代CPU软件刷新...
- 思科网络安全 第七章答案