机器博弈 (二) 遗憾最小化算法
文章目录
- 遗憾最小化算法(Regret Minimization):
- 最佳反应策略与纳什均衡
- ε\varepsilonε-纳什均衡与平均遗憾值
- 策略选择
- Rock-Paper-Scissors,RPS 例子
现代的博弈论快速与人工智能进行结合,形成了以数据驱动的博弈论新的框架。博弈论与计算机科学的交叉领域非常多,有以下几个方面:
- 理论计算机科学:算法博弈论
- 人工智能:多智能体系统、AI游戏、人机交互、机器学习、广告推荐等。
- 互联网:互联网经济、共享经济。
- 分布式系统:区块链。
人工智能与博弈论结合,形成了两个主要研究方向:1. 博弈策略的求解;2. 博弈规则的设计。
博弈论提供了许多问题的数学模型。纳什定理确定了博弈过程问题存在解。人工智能的方法可以用来求解均衡局面或者最优策略。
主要研究的问题就是:如何高效求解博弈参与者的策略以及博弈的均衡局势。
其应用领域主要有:
- 大规模搜索空间的问题求解:围棋。
- 非完美信息博弈问题求解:德州扑克。
- 网络对战游戏智能:Dota、星球大战。
- 动态博弈的均衡解:厂家竞争、信息安全。
遗憾最小化算法(Regret Minimization):
我们对遗憾最优化算法(RM)中符号做若干定义:
- 假设一共有NNN个玩家。玩家iii所采用的策略表示为σi\sigma_{i}σi。
- 对于每个信息集Ii∈ξiI_{i} \in \xi_{i}Ii∈ξi,σi(Ii):A(Ii)→[0,1]\sigma_{i}(I_{i}):A(I_{i}) \rightarrow [0,1]σi(Ii):A(Ii)→[0,1]是在动作集A(Ii)A(I_{i})A(Ii)上的概率分布函数。玩家iii的策略空间用∑i\sum_{i}∑i表示。
- 一个策略组包含所有玩家策略,用σ=(σ1\sigma =(\sigma_{1}σ=(σ1,σ2\sigma_{2}σ2,⋯\cdots⋯,σ∣N∣)\sigma_{|N|})σ∣N∣)。
- σ−i\sigma_{-i}σ−i表示σ\sigmaσ中除了σi\sigma_{i}σi之外的策略(即除去玩家iii所采用的策略)。
- 在博弈对决中,不同玩家在不同时刻会采取相应策略以及行动。策略σ\sigmaσ下对应的动作序列hhh发生概率表示为πσ(h)\pi^{\sigma}(h)πσ(h)。于是,πσ(h)=∏i∈Nπiσ(h)\pi^{\sigma}(h)=\prod_{i \in N} \pi_{i}^{\sigma}(h)πσ(h)=∏i∈Nπiσ(h),这里πiσ(h)\pi_{i}^{\sigma}(h)πiσ(h)表示玩家iii使用策略σi\sigma_{i}σi促使行动序列hhh发生的概率。除玩家iii以外,其他玩家通过各自策略促使行动序列hhh发生的概率可表示为:π−iσ(h)=∏i∈N/{i}πjσ(h)\pi_{-i}^{\sigma}(h)=\prod_{i \in N \ / \{i\}} \pi_{j}^{\sigma}(h)π−iσ(h)=∏i∈N /{i}πjσ(h)。
- 对于每个玩家i∈Ni \in Ni∈N,ui:Z→Ru_{i}:Z \rightarrow Rui:Z→R表示玩家iii的收益函数,即在到达终止序列集合ZZZ中某个终止序列时,玩家iii所得到的收益。
- 玩家iii在给定策略σ\sigmaσ下所能得到的期望收益可如下计算:ui(σ)=∑h∈Zui(h)πσ(h)u_{i}(\sigma)=\sum_{h \in Z}u_{i}(h)\pi^{\sigma}(h)ui(σ)=∑h∈Zui(h)πσ(h)。
最佳反应策略与纳什均衡
我们来看一下遗憾最小化算法下的最佳反应策略和纳什均衡。
- 玩家iii对于所有玩家的策略组σ−i\sigma_{-i}σ−i的最佳反应策略σi∗\sigma_{i}^{*}σi∗满足如下条件:
ui(σi∗,σ−i)≥maxσi′∈∑iui(σi′,σ−i)u_{i}(\sigma_{i}^{*},\sigma_{-i}) \geq max_{\sigma_{i}^{'}\in \sum_{i}} u_{i}(\sigma_{i}^{'},\sigma_{-i}) ui(σi∗,σ−i)≥maxσi′∈∑iui(σi′,σ−i)
即玩家iii采用其它策略获得的收益小于采用最佳策略所能获得的收益。(这里其它玩家策略保持不变。)
在策略组σ\sigmaσ中,如果每个玩家的策略相对于其他玩家的策略而言都是最佳反应策略,那么策略组σ\sigmaσ就是一个纳什均衡(Nash equilibrium)策略。
纳什均衡:策略组σ=(σ1∗\sigma =(\sigma_{1}^{*}σ=(σ1∗,σ2∗\sigma_{2}^{*}σ2∗,⋯\cdots⋯,σ∣N∣∗)\sigma_{|N|}^{*})σ∣N∣∗)是纳什均衡当且仅当对每个玩家i∈Ni \in Ni∈N,满足如下条件:
ui(σ)≥maxσi′ui(σi∗,σ2∗,⋯,σi′,⋯,σ∣N∣∗)u_{i}(\sigma) \geq max_{\sigma_{i}^{'}} u_{i}(\sigma_{i}^{*},\sigma_{2}^{*}, \cdots , \sigma_{i}^{'}, \cdots, \sigma_{|N|}^{*}) ui(σ)≥maxσi′ui(σi∗,σ2∗,⋯,σi′,⋯,σ∣N∣∗)
ε\varepsilonε-纳什均衡与平均遗憾值
ε\varepsilonε-纳什均衡:
- 对于给定的正实数ε\varepsilonε,策略组σ\sigmaσ是ε\varepsilonε-纳什均衡当且仅当对于每个玩家i∈Ni \in Ni∈N,满足如下条件:
ui(σ)+ε≥maxσi′∈∑iui(σi′,σ−i)u_{i}(\sigma) + \varepsilon \geq max_{\sigma_{i}^{'} \in \sum_{i}}u_{i}(\sigma_{i}^{'},\sigma_{-i}) ui(σ)+ε≥maxσi′∈∑iui(σi′,σ−i)
- 对于给定的正实数ε\varepsilonε,策略组σ\sigmaσ是ε\varepsilonε-纳什均衡当且仅当对于每个玩家i∈Ni \in Ni∈N,满足如下条件:
平均遗憾值(average overall regret):假设博弈能够重复地进行(如围棋等),令第ttt次博弈时的策略组为σt\sigma^{t}σt,若博弈已经进行了MMM次,则这MMM次博弈对于玩家i∈Ni \in Ni∈N的平均遗憾值定义为:
RegretiM‾=1Mmaxσi∗∈∑i∑i=1M(ui(σi∗,σ−it)−ui(σt))\overline{Regret_{i}^{M}} = \frac{1}{M}max_{\sigma_{i}^{*} \in \sum_{i}}\sum_{i=1}^{M}(u_{i}(\sigma_{i}^{*},\sigma_{-i}^{t})-u_{i}(\sigma^{t})) RegretiM=M1maxσi∗∈∑ii=1∑M(ui(σi∗,σ−it)−ui(σt))
策略选择
- 遗憾最小化算法是一种根据过去博弈中的遗憾程度来决定将来动作选择的方法
- 在博弈中,玩家iii在第TTT轮次(每一轮表示一次博弈完成)采取策略σi\sigma_{i}σi的遗憾值定义如下(累加遗憾):
RegretiT(σi)=∑t=1T(μi(σi,σ−it)−μi(σt))Regret_{i}^{T}(\sigma_{i})=\sum_{t=1}^{T}(\mu_{i}(\sigma_{i},\sigma_{-i}^{t})-\mu_{i}(\sigma^{t})) RegretiT(σi)=t=1∑T(μi(σi,σ−it)−μi(σt))
通常遗憾值为负数的策略被认定为不能提升下一时刻收益,所以这里考虑的遗憾值均为正数或0;
计算得到玩家iii在第TTT轮次采取策略σi\sigma_{i}σi的遗憾值后,在第T+1T+1T+1轮次玩家iii选择策略aaa的概率如下(悔值越大、越选择,即亡羊补牢):
P(a)=RegretiT(a)∑b∈所有可能选择策略RegretiT(b)P(a) = \frac{Regret_{i}^{T}(a)}{\sum_{b \in {所有可能选择策略}}Regret_{i}^{T}(b)} P(a)=∑b∈所有可能选择策略RegretiT(b)RegretiT(a)
Rock-Paper-Scissors,RPS 例子
假设两个玩家AAA和BBB进行石头-剪刀-布(Rock-Paper-Scissors,RPS)的游戏,获胜玩家收益为1分,失败玩家收益为-1分,平局则两个玩家收益均为零分。
第一局时,若玩家AAA出石头(RRR),玩家BBB出布(PPP),则此时玩家AAA的收益μA(R,P)=−1\mu_{A}(R,P)=-1μA(R,P)=−1,玩家BBB的收益为μB(P,R)=1\mu_{B}(P,R)=1μB(P,R)=1。
对于玩家AAA来说,在玩家BBB出布(PPP)这个策略情况下,如果玩家AAA选择出布(PPP)或者剪刀(SSS),则玩家AAA对应的收益值μA(P,P)=0\mu_{A}(P,P)=0μA(P,P)=0或者μA(S,P)=1\mu_{A}(S,P)=1μA(S,P)=1。
所以第一局之后,玩家AAA没有出布的遗憾值为:
μA(P,P)−μA(R,P)=0−(−1)=1\mu_{A}(P,P)-\mu_{A}(R,P)=0 -(-1)=1μA(P,P)−μA(R,P)=0−(−1)=1,
没有出剪刀的遗憾值为:
μA(S,P)−μA(R,P)=1−(−1)=2\mu_{A}(S,P)-\mu_{A}(R,P)=1-(-1)=2μA(S,P)−μA(R,P)=1−(−1)=2。
所以在第二局中,玩家AAA选择石头、剪刀和布这三个策略的概率分别为0、2/3、1/3。因此,玩家AAA趋向于在第二局中选择出剪刀这个策略。
在第一轮中,玩家AAA选择石头和玩家BBB选择布、在第二局中玩家AAA选择剪刀和玩家BBB选择石头情况下,则玩家AAA每一轮遗憾值及第二轮后的累加遗憾取值如下:
- 从上表可知,在第三局时,玩家AAA选择石头、剪刀和布的概率分别为1/6、2/6、3/6
- 在实际使用中,可以通过多次模拟迭代累加遗憾值找到每个玩家在每一轮次的最优策略。
- 但是当博弈状态空间呈指数增长时,对一个规模巨大的博弈树无法采用最小遗憾算法。
机器博弈 (二) 遗憾最小化算法相关推荐
- CFR虚拟遗憾最小化算法基础
虚拟遗憾最小化算法[Counterfactual Regret Minimization,CFR] 基础理论 博弈问题分类 博弈论基本概念与符号 算法框图 参考文献 基础理论 博弈问题分类 按照效用值 ...
- 【点宽专栏】虚拟遗憾最小化(CFR)之量化择时与交易
谷歌DeepMind公司研发的AI围棋AlphaGo在去年嗨翻天的时候,让我觉得现在的机器学习学习技术真的很NB,因为自己的专业,私下一直有关注机器学习在量化投资这块的一些实践.昨天看到广发出了一篇名 ...
- 思维模型——贝索斯的遗憾最小化模型
目录 一.遗憾最小化模型含义 二."最小遗憾化模型"的提出 三.最喜欢贝索斯的几个观点 1. 关注在不变的事情上,而不是变化的事情上 2."客户至上"原则 3. ...
- Kaldi WFST最小化算法
WFST最小化算法 最小化算法主要是在保证DFA识别的语言不变的条件下,将DFA中等价状态合并,减少状态数.转移边数,简化DFA结构,从而减少存储空间和运算时间.比较有名的最小化算法有Moore,Ho ...
- 图像全变差 matlab,全变差图像重建的交替最小化算法
全变差图像重建的交替最小化算法 matlab 2021-2-11 下载地址 https://www.codedown123.com/64520.html 全变差图像重建的交替最小化算法 包含灰度图像, ...
- 遗憾最小化框架:杰夫·贝佐斯离职创立Amazon背后的思考办法
文章来源: http://tandc.likesyou.org/?p=36 Chris Dixon 在<谈何时放弃你的idea>一文中谈到了在决定是放弃还是继续自己的创业idea的时候,可 ...
- Centos8 初体验 (二)最小化安装下查看已安装的软件包列表,并尝试dnf安装vim软件,以及dnf常用的一些操作
目录 通过dnf list 查看最小化安装的软件包都有哪些 用dnf 安装软件 dnf 下载源查看: dnf 下载包到当前目录,或指定目录 查看所有包或指定包的依赖关系 检查包文件所依赖的前置条件和配 ...
- 近端算法:近端最小化(Proximal minimization)、近端梯度(PG)、加速近端梯度(APG)、ADMM
近端算法 基本介绍及定义 定义 工作原理 性质 近端算子解释 Moreau-Yosida正则化 次微分算子的预解 修正梯度步长 信任区域问题 近端算法(Proximal Algorithms) 近端最 ...
- python实现dfa过滤算法_Hopcroft算法DFA最小化Python实现
DFA最小化原理 所谓自动机的化简问题即是对任何一个确定有限自动机DFA M,构造另一个确定有限自动机DFA M',有L(M)=L(M'),并且M'的状态个数不多于M的状态个数,而且可以肯定地说,能够 ...
- 压缩感知的尽头: 原子范数最小化
文章目录 前言 问题建模 Toeplitz 矩阵的范德蒙德分解 DOA估计的一般框架 ℓ0\ell_0ℓ0-原子范数 ℓ0\ell_0ℓ0-原子范数 与 范德蒙德分解 原子范数 多维原子范数 证明 ...
最新文章
- 专属含PCR抑制剂的环境样本微生物拷贝数定量的最佳解决方案!
- ButterKnife--View注入框架
- Linux 软件管理工具之rpm、yum
- 听说你,对薪酬待遇不太满意。。。
- NOIp #2011
- AOP技术基础(转)
- Linux安装ImageMagick与JMagick完成过程及配置
- 保留小数点位数和格式
- windows下创建vp9的VS版本
- 20多岁的一无所有,其实是理所应当的
- 西门子S7-200smart型PLC使用profinet通讯控制G120变频器程序
- 谈中国分布式数据库商业之路:OSM与DB-Inside
- CF卡 本地磁盘模式转换
- 麦肯锡三部曲_《学会提问:麦肯锡工作法》—读书笔记导图分享
- java公社博客_Java的运算符
- chart.js画图
- WEB前端开发工程师面试题
- 服务器装系统快吗,云服务器安装系统 快吗
- win xp32位系统安装mysql详细步骤
- 用程序的思想浅谈优化福州一中发书