强化学习+数据库简单小结

[1]主要利用RL实现在有限样本下学习最佳的数据库配置。设计的奖励函数可以有效地提高调优效率，DDPG算法可以在高维连续空间中找到最优配置

基本思想：我们尝试了RL中最经典的Qlearning和DQN模型，但这两种方法都未能解决高维空间(数据库状态，knobs组合)和连续动作(连续knobs)的问题。最后，采用基于策略的深度确定性策略梯度方法（DDPG），有效地克服了上述缺点。此外，作为RL的灵魂，奖励函数(reward function, RF)的设计至关重要，直接影响模型的效率和质量。因此，通过模拟DBA的调优体验，设计更符合调优场景的奖励函数，使算法高效执行。

本文中的reward是调优前后的性能差值。policy是给定一个CDB状态，如果调用一个操作(例如，一个旋钮调优)，策略通过将操作应用于原始状态来保持下一个状态。这里的策略是深度神经网络，它保持输入(数据库状态)、输出(旋钮)和不同状态之间的转换。RL的目标是学习最好的策略

State是内部指标(例如在一段时间内从磁盘读取或写入页面的计数器)代表了CDB的当前状态。

Action是旋钮调优操作，在CDB对应的状态下，CDB根据最新的策略执行相应的动作。

本文在学习价值函数时，没有采用Q-learning,DQN 而是采用Deep Deterministic Policy Gradient

[2]索引调优的目的是为输入工作负载找到最优的索引配置。索引调优的目的是为输入工作负载找到最优的索引配置。这需要在 exploration 和 exploitation之间找到平衡。

States. We define the set of states S of the MDP as all index configurations in the search space.

Actions. For a state

强化学习+数据库简单小结相关推荐

强化学习入门简单实例 DQN
[强化学习入门第一讲 MDP](https://zhuanlan.zhihu.com/p/25498081) [随笔分类 - 0084. 强化学习](https://www.cnblogs.com/ ...
图解深度强化学习（简单的）
其实理解起来就是环境是一个根据输入输出响应信息的一个标注器其他的就是一个神经网络, 只不过输入和输出是环境的输入和输出,神经网络就是智能体.代替和模拟其他左右动作,就人类环境而言,我们是和环境学习的 ...
GCD学习之简单小结
1.常用的方法dispatch_async 为了避免界面在处理耗时的操作时卡死,比如读取网络数据,IO,数据库读写等,我们会在另外一个线程中处理这些操作,然后通知主线程更新界面. 用GCD实现这个流程 ...
强化学习（六） - 连续空间中的强化学习(RL in Continuous Spaces)及相关实例
强化学习(六) - 连续空间中的强化学习 6.1 连续空间中的强化学习 6.2 离散空间和连续空间 6.3 离散化实例:小车上山 6.3.1 相关程序 6.3.2 程序注解 (1) 环境测试 (2) ...
强化学习70年演进：从精确动态规划到基于模型
作者 | Nathan Lambert 译者 | 泓礼编辑 | 夕颜出品 | AI科技大本营(ID: rgznai100) [导读]这是一份帮你了解强化学习算法本质的资源,无需浏览大量文档,没有一 ...
《强化学习周刊》第24期：CORL 2021强化学习的最新研究与应用
No.24 智源社区强化学习组强化学习研究观点资源活动关于周刊强化学习作为人工智能领域研究热点之一,其研究进展与成果也引发了众多关注.并且诸多研究成果发表于CORL 2021学 ...
关于人工智能中强化学习的扫盲
https://www.toutiao.com/a6666688293163237896/ 前言对一个认知科学家来说,一个最基本的问题是"如何学习新知识?".回答这样一个问题的i ...
Q学习（Q learning）强化学习
Q学习(Q learning) 强化学习的简单例子 Matlab实现可视化_Morty 的挖坑记录-CSDN博客强化学习(MATLAB) - 叮叮当当sunny - 博客园
强化学习之原理与应用
PaddlePaddle原创 2019/02/20 17:23 强化学习之原理与应用强化学习特别是深度强化学习近年来取得了令人瞩目的成就,除了应用于模拟器和游戏领域,在工业领域也正取得长足的进步.百 ...

强化学习+数据库简单小结

强化学习+数据库简单小结相关推荐

最新文章

热门文章