一、简介

蒙特卡洛树搜索(简称 MCTS)最早兴起于上个世纪五十年代左右，从统计实验中衍生而来，在博弈决策中发挥了巨大的作用。当博弈序列较长，动作空间大时，往往会使博弈树非常巨大，导致使用蒙特卡洛树搜索带来了较大的困难，近几年深度学习的兴起，尤其是AlphaGO，其使用了深度学习与蒙特卡洛树搜索相结合，借助MCTS的框架（就是实验统计的思想），利用深度网络来拟合，解决了空间规模较大的问题，在各类游戏中越来越突出MCTS的作用。

二、博弈树

先看博弈树，博弈树能够直观的体现出双方的决策行为，如下图所示，这种博弈适合异步博弈，如棋牌类，一方的决策需要等待另一方决策完成之后。从树中根节点开始，任一个状态，树中的每一个分支即为一种决策路径（双方的决策）。博弈树中常见的方法即为最大最小法（max-min），剪枝法等。MCTS就是用于解决这两种方法的不足。

二、基本原理

MCTS核心部分包含四个步骤：选择（Selection）、扩展（Expansion）、仿真（Simluation）、回溯（Backpropagation）。

核心思想：当遇到需要决策的状态点时，利用大量的仿真实验结果来评估该点每个动作的好坏，仿真实验可能会达到上万局，根据决策问题的复杂度来定，在AlphaGo中就是用快速走子网络来做实验。最终返回当前状态的一个决策结果。

节点信息

每一个节点代表一个状态，每一条边代表状态动作对，每一个节点处至少包含三种信息，一是节点访问次数，一是节点获胜次数，一是节点处的评估值。

选择（Selection）

扩展（Expansion）

仿真（Simluation）

回溯（Backpropagation）

参考论文

博弈决策---蒙特卡洛搜索过程（一）：原理相关推荐

c语言编简单博弈小游戏,[2018年最新整理]实验二：利用α-β搜索过程的博弈树搜索算法编写一字棋游戏.doc...
[2018年最新整理]实验二:利用α-β搜索过程的博弈树搜索算法编写一字棋游戏实验二:利用α-β搜索过程的博弈树搜索算法编写一字棋游戏一.实验目的与要求 (1)了解极大极小算法的原理和使用方法,并 ...
Lucene学习总结之七：Lucene搜索过程解析
一.Lucene搜索过程总论搜索的过程总的来说就是将词典及倒排表信息从索引中读出来,根据用户输入的查询语句合并倒排表,得到结果文档集并对文档进行打分的过程. 其可用如下图示: 总共包括以下几个过程: ...
linux从接通电源到操作系统启动,第4章-Linux引导过程及原理要点.ppt
<第4章-Linux引导过程及原理要点.ppt>由会员分享,可在线阅读,更多相关<第4章-Linux引导过程及原理要点.ppt(98页珍藏版)>请在人人文库网上搜索. 1.Li ...
PRN（20201231）：驾驶人驾驶决策机制遵循最小作用量原理
王建强, 郑讯佳, 黄荷叶. 驾驶人驾驶决策机制遵循最小作用量原理[J]. 中国公路学报, 2020, v.33;No.200(04):159-172. 观点: 为提升智能汽车的自主决策能力,使其能够 ...
禁忌搜索(Tabu Search)原理梳理和应用细节-附求解VRPTW问题C++代码
文章目录 1.禁忌搜索(TS)的相关概念 1.1 搜索空间(search space) 1.2 邻域结构(neighborhood structure) 1.3 禁忌表(tabu) 1.4 解禁标准( ...
决策树算法和CART决策树算法详细介绍及其原理详解
相关文章 K近邻算法和KD树详细介绍及其原理详解朴素贝叶斯算法和拉普拉斯平滑详细介绍及其原理详解决策树算法和CART决策树算法详细介绍及其原理详解线性回归算法和逻辑斯谛回归算法详细介绍及其原理详 ...
iOS编译过程的原理和应用
阅读本文你将收获: iOS编译流程明确 text.data 的含义 iOS dSYM 的作用和生成方式明白iOS crash堆栈符号化解析流程 source: iOS编译过程的原理和应用 iOS ...
Internet：A/B Testing即对照实验(一种数据驱动决策方法)的简介、原理、案例应用之详细攻略
Internet:A/B Testing即对照实验(一种数据驱动决策方法)的简介.原理.案例应用之详细攻略目录 A/B Testing即对照实验(一种数据驱动决策方法)的简介 1.A/B Testi ...
Lucene系列七：搜索过程和IndexSearcher
搜索过程是由Lucene所提供的核心功能之一.下图说明了搜索过程和使用的类. IndexSearcher是搜索过程中最重要的和核心组件.本章的需要掌握的,了解他们的存储原理后就可以方便知道如何基于这些 ...

博弈决策---蒙特卡洛搜索过程（一）：原理