高级人工智能-沈华伟-国科大2021-2022秋季学期课程

连接主义（神经网络、深度学习）
- 搜索问题
- - 启发式算法
  - - 贪婪最佳优先搜索
    - A*搜索
    - - A*树搜索
      - A*图搜索
      - 传教士和野人问题
      - 归结原理中的应用
- 神经网络
- - 传统神经网络
  - - 多层感知机（Multi-Layer Perceptron）
  - 计算机视觉的深度学习模型
  - - 残差网络（Residual Networks, ResNets）
  - 序列数据的深度学习模型
  - - 循环神经网络（Recurrent Neural Networks, RNN）
    - GRU and Long Short Term Memory(LSTM)
  - 生成式对抗网络（Generative adversarial networks, GAN）
  - 图神经网络
符号主义（数理逻辑）
- 命题逻辑（Propositional Logic）
- - 语法与逻辑推导（Syntax and Derivation）
  - 语义与形式推演（Semantics and Deduction）
  - - 形式推演的11条规则（一种形式推演系统）
    - 归结原理（Resolution）
    - - 转化为CNF合取范式
      - 可靠性（Soundness）
      - 完备性（Completeness）
    - Modus Ponens规则
    - - 前向推理（Forward chaining）
      - 后向推理（Backward Chaining）
      - 可靠性（Soundness）
      - 完备性（Completeness）
- 一阶谓词逻辑（First-order Logic）
- - 语法与逻辑推导（Syntax and Derivation）
  - 语义与形式推演（Semantics and Deduction）
  - - 合一化算子（Unification）
    - 归结原理（Resolution）
    - - 转化为CNF合取范式
      - 归结策略：广度优先
      - 归结策略：删除策略与限制策略
    - Generalized Modus Ponens (GMP) 规则
    - - 前向推理与后向推理
- 模糊逻辑
- - 模糊集
  - - 模糊集的表示
    - 模糊集的运算
    - 模糊关系
  - 模糊逻辑
行为主义（强化学习）
- 群体智能
- - 蚁群算法
  - 粒子群算法
- 强化学习
- - 格子游戏
- 博弈
- - 基本概念
  - 田忌赛马

声明： 部分图片来自于课程讲义，（沈华伟，罗平）

连接主义（神经网络、深度学习）

搜索问题

启发式算法

启发式搜索(Heuristically Search)是利用问题拥有的启发信息来引导搜索，达到减少搜索范围、降低问题复杂度的目的，这种利用启发信息的搜索过程称为启发式搜索。其代表算法为：贪婪最佳优先搜索(Greedy Best-First Search)和A*搜索。

评价函数f(n)描述的是从当前节点出发，根据评价函数来选择后续节点。

启发函数h(n)描述的是从计算节点到目标节点之间所形成路径（耗散）的最小代价值。

贪婪最佳优先搜索

在贪婪最佳优先搜索算法里面，评价函数f(n)等于启发函数h(n)。贪婪最佳优先搜索不是最优的，也不是完备的。

A*搜索

A*树搜索

启发函数 h ( n ) h(n) h(n)是可采纳的，那么
0 ≤ h ( n ) ≤ h ⋆ ( n ) 0 \leq h(n) \leq h^{\star}(n) 0≤h(n)≤h⋆(n)
其中 h ⋆ ( n ) h^{\star}(n) h⋆(n)是到最近目标的真实耗散，即估计的耗散小于到最近目标的实际耗散。

A*树搜索算法最优性的条件是启发函数 h ( n ) h(n) h(n)是可采纳的，证明如下：
令A为最优目标节点，B为次优目标节点，并且 h ( n ) h(n) h(n)是可采纳的，要证明A在B之前离开边缘集合。

假设B在边缘集合中，A的某个祖先节点n（可能包括A）也在边缘集合中，

所以 f ( n ) ≤ f ( A ) f(n) \leq f(A) f(n)≤f(A)，

所以 f ( n ) ≤ f ( A ) < f ( B ) f(n) \leq f(A) < f(B) f(n)≤f(A)<f(B)，
所以A的所有祖先在B之前扩展，A在B之前扩展，因此A*树搜索算法是最优的。

通常，可采纳启发函数是松弛问题的解的耗散。

A*图搜索

启发函数 h ( n ) h(n) h(n)是一致的，那么
h ( A ) − h ( C ) ≤ h(A) - h(C) \leq h(A)−h(C)≤ actual cost(A to C)
即对于图中的每一条弧，估计的耗散都小于实际的耗散。

A*图搜索算法最优性的条件是启发函数 h ( n ) h(n) h(n)是一致的，证明如下：

实话说，这些证明我没看懂，我的问题，老师上课也是读了一遍slide，与我无关……
启发函数的一致性暗示了可采纳性，通常天然的可采纳启发函数是倾向于一致的，特别是从松弛问题中获得的启发函数。

传教士和野人问题

[例题]
传教士missionary和野人caveman问题通常描述如下: 三个传教士和三个野人在河的一边，还有一条能载一个人或者两个人的船，找到一个方法让所有的人都渡到河的另一岸，要求在任何地方野人数都不能多于传教士的人数，可以只有野人没有传教士。
(1) 精确地形式化该问题，只描述确保该问题有解所必须的特性，画出该问题的完全状态图.
(2) 用一个合适的算法实现和最优地求解该问题，检查重复状态是个好主意嘛?
(3) 这个问题的状态空间如此简单，为什么求解却很困难?
本题答案部分来源于网络，有待确定！

完全状态图：

应该注意检查重复状态，能够避免进入死循环。

虽然状态空间比较简单，但是检查重复状态是一项困难的工作；并且列举当前状态所有合法的后继状态也很困难，包括无合法后继状态后的回溯问题。

归结原理中的应用

[例题]
应该如何设计A*启发式函数使得归结次数最少？

h ( n ) h(n) h(n) = minimal length of clause in this set.

神经网络

传统神经网络

多层感知机（Multi-Layer Perceptron）

多层感知机特性：

多层感知机层间神经元全连接。
Can represent AND, OR, NOT, etc., but not XOR.
若训练数据集是线性可分的，则感知机模型收敛。

权重学习方式：BP算法

计算机视觉的深度学习模型

残差网络（Residual Networks, ResNets）

序列数据的深度学习模型

循环神经网络（Recurrent Neural Networks, RNN）

使用BPTT(Back Propagation Through Time)算法训练循环神经网络RNN。

梯度爆炸与梯度消失：

GRU and Long Short Term Memory(LSTM)

生成式对抗网络（Generative adversarial networks, GAN）

GAN的核心思想来源于博弈论的纳什均衡。GAN包括一个生成器（Generator）和一个判别器（Discriminator），生成器的目的是尽量去学习真实的数据分布，判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器生成的数据。

图神经网络

符号主义（数理逻辑）

逻辑研究的内容：

KB ⊨ α \text{KB} \models \alpha KB⊨α的等价描述：

M o d e l ( KB ) ⊆ M o d e l ( α ) Model(\text{KB}) \subseteq Model(\alpha) Model(KB)⊆Model(α)
KB ⇒ α \text{KB} \Rightarrow \alpha KB⇒α is valid(永真)
KB ∧ ¬ α \text{KB} \land \lnot \alpha KB∧¬α is unsatisfiable(不可满足)

命题逻辑（Propositional Logic）

语法与逻辑推导（Syntax and Derivation）

Entailment以及Implication的区别: Entailment是逻辑上的概念，刻画两组sentence之间的关系；Implication是命题proposition之间的一种算子，使用真值表刻画其语义。

命题逻辑中的知识库KB为满足命题逻辑语法的sentence的集合，假设在这组sentence中，一共有n个原子命题，对每个原子命题赋值称为真值指派，一共有 2 n 2^n 2n种真值指派，其中：使得KB中的每个sentence都为真的真值指派，就是KB的model。在此基础上，在命题逻辑中，可以明确的定义KB ⊨ α \models \alpha ⊨α。

语义与形式推演（Semantics and Deduction）

形式推演的11条规则（一种形式推演系统）

声明：此部分内容来自《面向计算机科学的数理逻辑》

归结原理（Resolution）

转化为CNF合取范式

Resolution归结原理证明KB ⊢ α \vdash \alpha ⊢α：

证明KB ⊢ α \vdash \alpha ⊢α举例：

需要注意：两个子句根据归结原理可以推出多个不同的子句。

[例题]

可靠性（Soundness）

在研究可靠性与完备性问题时，应当把语法层面的知识理解为Groundtruth，因此可靠性可以大概表述为：语义上推演得到的知识在语法上正确。因此要证明归结原理的可靠性，即证明：

可靠性的证明使用真值表即可。

完备性（Completeness）

完备性可以大概表述为：如果语法上能够推理得到的，那么语义上正确。

Modus Ponens规则

上述提到的归结原理具有完备性，这是很好的性质，对于许多现实世界的应用，如果添加一些限制，可以实现更高效的推理。为了换取更好的inference的时间效率，缩小命题逻辑propositional logic的表达范围，得到适用于Horn Form的Modus Ponens规则，是另外一种形式的归结原理。

Modus Ponens规则可以使用Forward Chaining or Backward Chaining，这些算法易于理解，并且时间复杂度为线性时间。

前向推理（Forward chaining）

前向推理的核心思想是：触发所有前提（前件）存在于知识库中的规则，将其结论（后件）添加到知识库中，直到完成查询query。

前向推理算法执行过程举例如下：

后向推理（Backward Chaining）

Forward Chaining以及Backward Chaining的比较：

可靠性（Soundness）

可靠性的证明使用真值表即可。

完备性（Completeness）