基于近端策略优化算法的车载边缘计算网络频谱资源分配

摘要

【目的】在车载网络边缘计算中,合理地分配频谱资源对改善车辆通讯质量具有重要意义。频谱资源稀缺是影响车辆通讯质量的重要原因之一,车辆的高移动性以及在基站处准确收集信道状态信息的困难给频谱资源分配带来了挑战性。【方法】针对以上问题,优化目标设定为车对车（Vehicle-to-Vehicle, V2V）链路传输速率和车对基础设施（Vehicle-to-Infrastructure, V2I）容量大小,提出一种基于近端策略优化（Proximal Policy Optimization, PPO）强化学习算法的多智能体频谱资源动态分配方案。【结果】面对多个V2V链路共享V2I链路所占用的频谱资源从而缓解频谱稀缺问题。这一问题被进一步制定为马尔可夫决策过程(Markov Decision Process, MDP),并对状态、动作和奖励进行了设计,以优化频谱分配策略。【结论】仿真结果表明,在信道传输速率和车辆信息传递成功率方面,所提出的基于PPO算法的优化方案与基线算法相比具有更优的效果。

关键词： 车载网络边缘计算; 频谱分配; 马尔可夫决策过程; 近端策略优化

引言

近年来,

基于近端策略优化算法的车载边缘计算网络频谱资源分配相关推荐

强化学习经典算法笔记(十二)：近端策略优化算法（PPO）实现，基于A2C（下）
强化学习经典算法笔记(十二):近端策略优化算法(PPO)实现,基于A2C 本篇实现一个基于A2C框架的PPO算法,应用于连续动作空间任务. import torch import torch.nn a ...
基于近端策略优化的阻变存储硬件加速器自动量化
摘要卷积神经网络在诸多领域已经取得超出人类的成绩.但是,随着模型存储开销和计算复杂性的不断增加,限制处理单元和内存单元之间数据交换的"内存墙"问题阻碍了其在诸如边缘计算和物联网 ...
近端策略优化算法(PPO)
策略梯度算法(PG) 策略梯度迭代,通过计算策略梯度的估计,并利用随机梯度上升算法进行迭代.其常用的梯度估计形式为: E^t[∇θlogπθ(at∣st)A^t]\hat{\mathbb{E}}_t[ ...
PPO近端策略优化算法概述
Policy Gradient算法存在两个问题,一是蒙特卡罗只能回合更新,二是on-policy采集的数据只能使用一次. 对于第一个更新慢的问题,改用时序差分方法,引入critic网络估计V值,就能实 ...
【MATLAB教程案例15】基于WOA鲸鱼优化算法的函数极值计算matlab仿真及其他应用
FPGA教程目录 MATLAB教程目录MATLAB教程目录MATLAB教程目录 ------------------------------------------------------------ ...
【MATLAB教程案例16】基于GWO灰狼优化算法的函数极值计算matlab仿真及其他应用
FPGA教程目录 MATLAB教程目录目录 1.软件版本 2.GWO灰狼优化算法的理论知识 2.1包围 2.2追捕 2.3攻击
【MATLAB教程案例12】基于GA遗传优化算法的函数极值计算matlab仿真及其他应用
FPGA教程目录 MATLAB教程目录 -------------------------------------------------------------------------------- ...
【MATLAB教程案例13】基于SA模拟退火优化算法的函数极值计算matlab仿真及其他应用
FPGA教程目录 MATLAB教程目录 -------------------------------------------------------------------------------- ...
强化学习笔记：PPO 【近端策略优化（Proximal Policy Optimization）】
1 前言我们回顾一下policy network: 强化学习笔记:Policy-based Approach_UQI-LIUWJ的博客-CSDN博客它先去跟环境互动,搜集很多的路径τ.根据它搜集 ...

基于近端策略优化算法的车载边缘计算网络频谱资源分配

基于近端策略优化算法的车载边缘计算网络频谱资源分配相关推荐

最新文章

热门文章