机器学习（三十八）——博弈论（1）
博弈论
博弈论（game theory）是一门单独的学科，和RL并无统属关系。然而由于RL，特别是MARL大量应用到了相关的知识，所以这里也把它写在RL系列里了。
历史
博弈论最早可追溯到“齐威王田忌赛马”，但它真正的发展是在20世纪下半叶。
RL的历史相对比较晚，因此从渊源来看，RL=博弈论+控制论+ML。
参考：
https://blog.csdn.net/sobermineded/article/details/79601986
博弈论历史、发展与应用
教程
《Game Theory An Introduction》，Steven Tadelis著。
Steven Tadelis，经济学家。Harvard博士（1997），UCB教授。
概述
要理解博弈论，可以通过博弈论和决策论的区别开始。
决策论是研究局中人在给定其他环境参数条件下的最优选择问题。
博弈论研究的是当局中人充分考虑到其他局中人对其战略选择的反应后（即局中人都具有同样充分的理性时）进行最优战略的选择。
博弈论的直接目标不是找到一个玩家的最佳策略，而是找到所有玩家的最理性策略组合。我们称最理性策略组合为均衡（equilibrium）。
从宏观上可以将博弈论研究的问题分为：合作博弈和非合作博弈。现代狭义的博弈论一般是指非合作博弈。
非合作博弈根据参与博弈的参与人做决策的先后顺序可以分为：静态博弈和动态博弈。
静态博弈：参与人同时做决策，常用标准型（normal form）表述其策略。如两人零和博弈等。
动态博弈：参与人有先后顺序做决策，且后者能观察到前者所做的决策，如围棋等。常用扩展型（extensive form）来表述其策略，常用的扩展型表述为博弈树。
非合作博弈根据参与人是否已知对方的信息，可以分为：完美信息博弈和不完美信息博弈。
完美信息博弈：参与人对相关信息完全已知，如棋类游戏。玩家知道对方棋子所在的位置。
不完美信息博弈：参与人对相关信息并不完全已知。如牌类游戏，玩家并不知道对手的牌是什么。
当局中人的个数n为有限数且每个局中人的战略空间中的元素只有限个时，称博弈为有限博弈（finite game）。
决策问题的三要素：
- 行动(action): 玩家可能的选择
- 结果(outcome): 每个行动的可能后果
- 倾向(preference): 对所有可能后果，按照从最渴望到最不渴望的排列。
理智选择假设：
一个玩家完全明白决策问题：
- 所有可能的行动
- 所有可能的结果
- 了解行动如何影响结果
- 玩家的理性倾向（收益）是基于结果的
经济人(Homo economicus)：一个经济人是理智的，了解决策问题的各个因素，并且总是选择可以获得最高收益的行动。
风险态度：
- 中立风险（risk neutral）：认为同样期望回报的价值相同。
- 厌恶风险（risk averse）：倾向于一个确定性的回报，不愿意采用一个拥有同样期望回报的不确定性方案。
- 喜爱风险（risk loving）：更严格地倾向于采用拥有同样期望回报的赌注。
博弈论旨在了解游戏的动态，以优化其玩家可能获得的结果。相反的，**逆博弈论（Inverse Game Theory）**旨在根据玩家的策略和目标来设计游戏。逆博弈论在多智能体AI以及人机交互AI中都很有用处。
囚徒困境
上图是囚徒困境（prisoner’s dilemma）的策略矩阵。
参与者为：囚徒A和囚徒B。动作空间为：{坦白、抵赖}，回报函数由矩阵给出。即：
- 当囚徒A和囚徒B都坦白时，囚徒A被判处3年有期徒刑、囚徒B也被判处3年有期徒刑。
- 当囚徒A坦白、囚徒B抵赖时，囚徒A被当场释放、囚徒B被判处5年有期徒刑。
- 当囚徒A抵赖、囚徒B坦白时，囚徒A被判处5年有期徒刑、囚徒B当场释放。
- 当囚徒A抵赖、囚徒B抵赖时，囚徒A和B都被判处1年有期徒刑。
很明显，如果两个囚徒都选择抵赖，那么它们总的惩罚最低。然而，选择抵赖对于囚徒个人来说是理性的吗？
答案是：选择抵赖对于个人来说并不理性。因为，就个人而言，囚徒并不知道另外一个囚徒选择的策略是什么。在这种情况下，选择坦白对于个人来说是理性的，而且是最优的。
即，不管其他囚徒选择什么动作，选择坦白总比选择抵赖要优。
比如，对于囚徒A来说：
当囚徒B选择坦白时，如果囚徒A选择坦白被判处3年有期徒刑；而这时如果A选择抵赖则被判处5年有期徒刑，所以这时囚徒A选择坦白要好。
当囚徒B选择抵赖时，如果囚徒A选择坦白，则当场释放；而这时如果A选择抵赖，则被判处1年有期徒刑，所以这时囚徒A选择坦白要好。
综合这两种情况，对于囚徒A不管囚徒B如何选择，选择坦白都是最好的。
在该例中（坦白，坦白）是占优策略（dominated strategy）。所谓占优策略是指如果一方在任何情况下从某种策略中得到的回报均大于从另外一种策略得到的回报，那么我们称为这种策略为占优策略。
囚徒困境同样适于分析寡头垄断厂商合作的不稳定性。对于寡头整体而言最理性的做法是（合作，合作）。于是，诸如OPEC等组织会联手以期达到利润最大化。但同时，另外有种激励，若自己悄悄毁约、不遵守协议自己的获利会高于合作下的获利。于是（不合作，不合作）的策略组合排挤掉了（合作，合作）的策略组合，并且由于（不合作，不合作）组合还是一个占优策略均衡，所以，卡特尔经常以失败告终，也就属情理之中了。
帕累托最优
帕累托最优(Pareto Optimality)，也称为帕累托效率(Pareto efficiency)，是指资源分配的一种理想状态，假定固有的一群人和可分配的资源，从一种分配状态到另一种状态的变化中，在没有使任何人境况变坏的前提下，使得至少一个人变得更好。帕累托最优状态就是不可能再有更多的帕累托改进的余地;换句话说，帕累托改进是达到帕累托最优的路径和方法。 帕累托最优是公平与效率的"理想王国"。
Vilfredo Pareto，1848~1923，意大利经济学家、社会学家。
纳什均衡
Nash equilibrium的定义：
在博弈中，如果联结策略(π1∗,…,πn∗)(\pi^*_1,\dots,\pi^*_n)(π1∗,…,πn∗)满足：
Vi(π1∗,…,πi∗,…,πn∗)≥Vi(π1∗,…,πi,…,πn∗),∀πi∈Πi,i=1,…,nV_i(\pi^*_1,\dots,\pi^*_i,\dots,\pi^*_n)\ge V_i(\pi^*_1,\dots,\pi_i,\dots,\pi^*_n),\forall \pi_i \in \Pi_i, i=1,\dots,nVi(π1∗,…,πi∗,…,πn∗)≥Vi(π1∗,…,πi,…,πn∗),∀πi∈Πi,i=1,…,n
则为一个纳什均衡。若上式严格大于，则为严格纳什均衡。
若智能体的策略对一个动作的概率分布为1，对其余的动作的概率分布为0，则这个策略为一个纯策略。
若一个策略对于智能体动作集中的所有动作的概率都大于0，则这个策略为一个完全混合策略。
介于上述两者之间的叫做混合策略。
纳什存在定理(Nash’s existence Theorem)：
任何普通形式、具有限策略集合的博弈存在一个纳什均衡的混合策略。
零和博弈中，两个智能体是完全竞争对抗关系，它只有一个纳什均衡值，即使可能有很多纳什均衡策略，但是期望的奖励是相同的。
一般和博弈是指任何类型的矩阵博弈，包括完全对抗博弈、完全合作博弈以及二者的混合博弈。在一般和博弈中可能存在多个纳什均衡点。
下图是纳什均衡的几何解释：
John Nash，1928～2015，数学家、经济学家。Princeton博士（1950），Princeton教授。主要研究博弈论、微分几何学和偏微分方程。诺贝尔经济学奖获得者（1994）。奥斯卡金像奖电影《美丽心灵》男主角原型。
高风险下的纳什均衡
在一些特殊情况下，即使犯错误的可能性很小也可能导致大的灾难（比如核电站，出问题就非常严重），纳什均衡就可能不会产生有说服力的解释。考虑如下博弈：
| 乙 | |||
| 左 | 右 | ||
| 甲 | 上 | 8,10 | -1000,9 |
| 下 | 7,6 | 6,5 | |
在这个博弈中，参与人甲会选择“下”，因为如果乙不小心（低概率）犯错误，要避免产生右上的灾难性情况。
这个例子说明，个体可能不想我们所假设的那样完全理性，在遇到高风险的情况下，人们会考虑风险，从而使得最终结果可能偏离纳什均衡战略。
机器学习（三十八）——博弈论（1）相关推荐
- [Python从零到壹] 三十八.图像处理基础篇之图像几何变换（平移缩放旋转）
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- OpenCV学习笔记（三十六）——Kalman滤波做运动目标跟踪 OpenCV学习笔记（三十七）——实用函数、系统函数、宏core OpenCV学习笔记（三十八）——显示当前FPS OpenC
OpenCV学习笔记(三十六)--Kalman滤波做运动目标跟踪 kalman滤波大家都很熟悉,其基本思想就是先不考虑输入信号和观测噪声的影响,得到状态变量和输出信号的估计值,再用输出信号的估计误差加 ...
- Android项目实战（三十八）：2017最新 将AndroidLibrary提交到JCenter仓库（图文教程）...
Android项目实战(三十八):2017最新 将AndroidLibrary提交到JCenter仓库(图文教程) 原文:Android项目实战(三十八):2017最新 将AndroidLibrary ...
- JavaScript学习（三十八）—面向过程与面向对象
JavaScript学习(三十八)-面向过程与面向对象 一.程序设计语言中的两大编程思想:面向对象.面向过程 (一).面向过程 就是指完成某个需求的时候,先分析出完成该需求时所需要经历的步骤有哪些,然 ...
- Android版疯狂填字第三关,iOS/安卓版《疯狂填字》答案攻略第三十八关
<疯狂填字>,最创新的填字玩法,挑战你的脑细胞,现在就下载.疯狂填字是最早的在线中文填字游戏,现在你可以在苹果手机上玩填字也可以在安卓手机上面玩,既打发了时间,又增长了知识,你准备好挑战了 ...
- 第五章第三十八题（十进制转换八进制）(Decimal to octal)
第五章第三十八题(十进制转换八进制)(Decimal to octal) **5.38(十进制转换为八进制)编写程序,提示用户输入一个十进制整数,然后显示对应的八进制值.在这个程序中不要使用Java的 ...
- 三十八、Fluent融化凝固模型参数设置依据
1. 融化凝固模型概述 1.1 模型原理 我们在Chapter37分享了Fluent融化凝固模型案例,前文只是介绍了Fluent中的操作过程. 不知道大家会不会觉得很奇怪,Fluent模拟融化和凝固, ...
- CCNA实验三十八 ZFW(区域防火墙)
CCNA实验三十八 ZFW(区域防火墙) 环境:Windows XP .Packet Tracert5.3 目的:了解ZFW的原理与基本配置 说明: ZFW(Zone-Based Policy Fir ...
- 左耳听风 第三十八周
左耳听风 第三十八周 每周完成一个ARTS: 每周至少做一个 leetcode 的算法题.阅读并点评至少一篇英文技术文章.学习至少一个技术技巧.分享一篇有观点和思考的技术文章.(也就是 Algorit ...
- 视频教程-三十八课时零基础matlab精通优化算法-Matlab
三十八课时零基础matlab精通优化算法 图像和算法等领域有多年研究和项目经验:指导发表科技核心期刊经验丰富:多次指导数学建模爱好者参赛. 宋星星 ¥100.00 立即订阅 扫码下载「CSDN程序员学 ...
最新文章
- python操作excel-Python对Excel(*.xls)的操作
- 编码不一致问题-Illegal mix of collations
- c 获取char*的长度_最大的 String 字符长度是多少？
- 第二届「星斗奖」获奖名单正式公布
- 5种较为简单的缺失值处理方法
- A-Frame 简介03
- 大二寒假 之 丢失的13天
- Teams 的逻辑架构与语音解决方案 - Official Posters Download
- 一种全新的软件界面设计方法
- 聚焦LS-MIMO的四大层面，浅谈5G关键技术
- bzoj 1014 火星人prefix —— splay+hash
- 图像处理、分析与机器视觉(基于labview)_基于3D技术的机器视觉解决方案
- Spring源码之bean的加载(五)准备创建bean
- R Programming: Part 3 - Code Correctly and Efficiently
- android sftp 编辑器,VSCode编辑器插件之SFTP工具
- 群体智能优化算法介绍
- word文件太大如何压缩到最小？
- matplotlib 绘制直方图
- demonstration记忆_记忆英语单词方法20种
- 《Unity游戏优化》笔记(4)[21/02/05_周五][P29_46]