一、研究内容概述

本文作者联合使用DQN和DDPG强化学习方法，用于下行功率控制中的频带选择与能量分配。结果表明，该方法具有很好的收敛速度和泛化性能。

二、系统目标与约束

1.系统描述

如上图所示，整个功率分配系统有两部分组成，我们将其描述为顶层与底层。顶层是一个DQN网络，用于子带的选择。底层是一个DDPG网络，以顶层选择的子带作为输出，输出对应的功率分配值。

2.系统目标

系统的目标为最大化信道容量，信道容量由下式定义

其中是频带所对应的SINR值，公式如下

公式中，表示在t时刻发射机n的子带选择m(取值为0或1)。表示在t时刻发射机n的发射功率。表示高斯噪声功率值。表示t时刻，在子带m上，发射机n到接收机l的信道增益。其具体展开如下

其中为大尺度衰落，包含路径损耗和阴影衰落。为小尺度瑞利衰落。本文假设大尺度衰落在所有时隙中保持不变。小尺度衰落继续展开为

其中，是依赖于最大多普勒频率fd的第一类零阶贝塞尔函数。是具有单位方差的独立同分布的圆对称复高斯随机变量。

三、DQN、DDPG网络设计

四、性能表征

本文所提出的基于DQN与DDPG联合子带选择与功率分配模型，相较于传统的FP算法，具有更高的信道容量和值。随着系统链路规模的增大，本文所提出的算法仍能保持很好的收敛性和收敛速度。

强化学习论文分析3---蜂窝网络联合频谱和功率分配的深度强化学习--《Deep Reinforcement Learning for ......》相关推荐

强化学习论文分析4---异构网络_强化学习_功率控制《Deep Reinforcement Learning for Multi-Agent....》
目录一.文章概述二.系统目标三.应用场景四.算法架构 1.微基站处----DQN 2.宏基站处---Actor-Critic 五.伪代码六.算法流程图七.性能表征 1.收敛时间 2.信道总 ...
强化学习论文分析1---多小区功率控制问题----《Power Allocation in Multi-cell Networks Using Deep Reinforcement Learning》
目录一.研究内容概述二.系统目标与约束 1.系统目标 2.约束条件三.映射到Q-learning 1.Q表的确定 2.环境的确定四.设计DQN网络 1.输入层 2.输出层 3.损失值五.方法 ...
基于深度强化学习的车道线检测和定位（Deep reinforcement learning based lane detection and localization）论文解读+代码复现
之前读过这篇论文,导师说要复现,这里记录一下.废话不多说,再重读一下论文. 注:非一字一句翻译.个人理解,一定偏颇. 基于深度强化学习的车道检测和定位官方源码下载:https://github.co ...
深度强化学习综述论文 A Brief Survey of Deep Reinforcement Learning
A Brief Survey of Deep Reinforcement Learning 深度强化学习的简要概述作者: Kai Arulkumaran, Marc Peter Deisenroth ...
AAAI 2020使用深度强化学习的MOBA游戏《Towards Playing Full MOBA Games with Deep Reinforcement Learning》打败王者荣耀顶尖选手
不知道你是否玩过王者荣耀,不知道你是不是经历过被人机疯狂怼在塔下强杀然后嘲讽你的经历?就,真说多了就是泪. 最近,NeurlPS2020会议收录了来自腾讯AI Lab的一篇强化学习的论文<Tow ...
【DQN】解析 DeepMind 深度强化学习 (Deep Reinforcement Learning) 技术
原文:http://www.jianshu.com/p/d347bb2ca53c 声明:感谢 Tambet Matiisen 的创作,这里只对最为核心的部分进行的翻译 Two years ago, a ...
深度强化学习（Deep Reinforcement Learning）的资源
深度强化学习(Deep Reinforcement Learning)的资源 2015-04-08 11:21:00| 分类: Torch | 标签:深度强化学习 |举报 |字号订阅 Goo ...
深度强化学习—— 译 Deep Reinforcement Learning(part 0: 目录、简介、背景)
深度强化学习--概述翻译说明综述 1 简介 2 背景 2.1 人工智能 2.2 机器学习 2.3 深度学习 2.4 强化学习 2.4.1 Problem Setup 2.4.2 值函数 2.4.3 ...
深度强化学习 Deep Reinforcement Learning 学习整理
这学期的一门机器学习课程中突发奇想,既然卷积神经网络可以识别一副图片,解决分类问题,那如果用神经网络去控制'自动驾驶',在一个虚拟的环境中不停的给网络输入车周围环境的图片,让它去选择前后左右中的一个操 ...
【强化学习】Playing Atari with Deep Reinforcement Learning （2013）
Playing Atari with Deep Reinforcement Learning (2013) 这篇文章提出了第一个可以直接用强化学习成功学习控制policies的深度学习模型. 输入是r ...

强化学习论文分析3---蜂窝网络联合频谱和功率分配的深度强化学习--《Deep Reinforcement Learning for ......》

目录