无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法(2)——模型构建
无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法(2)——模型构建
参考文献:
[1] Wang Y , Fang W , Ding Y , et al. Computation offloading optimization for UAV-assisted mobile edge computing: a deep deterministic policy gradient approach[J]. Wireless Networks, 2021:1-16.doi:https://doi.org/10.1007/s11276-021-02632-z
2 系统模型
我们考虑了一种无人机辅助的MEC系统,该系统由UE和配备纳米MEC服务器的无人机组成。整个系统运行在离散时间内,时隙长度相等。对所有终端提供通信和计算服务,但一次只能对一个终端。由于计算能力的限制,终端必须通过无线网络将部分计算任务转移到无人机的MEC服务器上。
2.1 通信模型
无人机以时间划分方式向所有终端提供计算服务,将整个通信周期 T 划分为 I 个时隙。我们假设 UEs 在该区域内以低速随机移动。在每个时间段,无人机在固定位置悬停,然后与其中一个终端建立通信。终端将部分计算任务卸载到服务器上后,剩余的计算任务将在本地执行。在三维笛卡尔坐标系下,无人机保持在固定高度 H 飞行,无人机的起始坐标 q ( i ) = [ x ( i ) , y ( i ) ] T ∈ R ( 2 × 1 ) q(i)=[x(i), y(i)]^T \in R^{(2 \times 1)} q(i)=[x(i),y(i)]T∈R(2×1) 和结束坐标 q ( i + 1 ) = [ x ( i + 1 ) , y ( i + 1 ) ] T ∈ R ( 2 × 1 ) q(i+1)=[x(i+1), y(i+1)]^T \in R^{(2 \times 1)} q(i+1)=[x(i+1),y(i+1)]T∈R(2×1) 在时隙 i ∈ { 1 , 2 , ⋯ , I } i \in \{1,2, \cdots,I\} i∈{1,2,⋯,I} 。UE坐标 k ∈ { 1 , 2 , ⋯ , K } k \in \{1,2, \cdots,K\} k∈{1,2,⋯,K} 是 p k ( i ) = [ x k ( i ) , y k ( i ) ] T ∈ R ( 2 × 1 ) p_k(i)=[x_k(i), y_k(i)]^T \in R^{(2 \times 1)} pk(i)=[xk(i),yk(i)]T∈R(2×1) 。无人机与UE k之间的视距链路的信道增益可以表示为:
g k ( i ) = α 0 d k − 2 ( i ) = α 0 ∣ ∣ q ( i + 1 ) − p k ( i ) ∣ ∣ 2 + H 2 g_k(i) = \alpha_0 d_k^{-2}(i) = \frac{\alpha_0}{||q(i+1)-p_k(i)||^2+H^2} gk(i)=α0dk−2(i)=∣∣q(i+1)−pk(i)∣∣2+H2α0
式中, α 0 \alpha_0 α0 为参考距离 d = 1 m d=1m d=1m 处的信道增益, d k ( i ) d_k(i) dk(i) 为无人机与 k 之间的欧氏距离。由于障碍物的遮挡,无线传输速率可表示为:
r k ( i ) = B l o g 2 ( 1 + P u p g k ( i ) σ 2 + f k ( i ) P N L O S ) r_k(i) = B log_2(1+\frac{P_{up}g_k(i)}{\sigma^2+f_k(i)P_{NLOS}}) rk(i)=Blog2(1+σ2+fk(i)PNLOSPupgk(i))
B 表示通信带宽, P u p P_{up} Pup 表示终端在上传链路的传输功率, σ 2 \sigma^2 σ2 表示噪声功率, P N L O S P_{NLOS} PNLOS 表示传输损耗, f k ( i ) f_k(i) fk(i) 表示在时刻 i , UAV 与UE k之间是否有阻塞的指示器(即0表示无堵塞,1表示堵塞)。
2.2 计算模型
在我们的MEC系统中,在每个时隙中对终端的任务使用了部分卸载策略。设 R k ( i ) ∈ [ 0 , 1 ] R_k(i) \in [0,1] Rk(i)∈[0,1] 表示卸载到服务器的任务的比例, ( 1 − R k ( i ) ) (1-R_k(i)) (1−Rk(i)) 表示在终端本地执行的剩余任务。那么,UE k在第 i 个时隙的本地执行延迟可以表示为:
t l o c a l , k ( i ) = ( 1 − R k ( i ) ) D k ( i ) s f U E t_{local,k}(i) = \frac{(1-R_k(i))D_k(i)s}{f_{UE}} tlocal,k(i)=fUE(1−Rk(i))Dk(i)s
其中, D k ( i ) D_k(i) Dk(i)为UE k的计算任务大小, s 为 UE 处理每个单位字节所需的CPU周期, f U E f_{UE} fUE 为 UE 的计算能力。在第一个时间段,无人机从位置 q(i) 飞行到新的悬停位置
q ( i + 1 ) = [ x ( i ) + v ( i ) t f l y cos β ( i ) , y ( i ) + v ( i ) t f l y sin β ( i ) ] T \mathbf{q}(i+1)=\left[x(i)+v(i) t_{fly} \cos \beta(i), y(i)+v(i) t_{fly} \sin \beta(i)\right]^{T} q(i+1)=[x(i)+v(i)tflycosβ(i),y(i)+v(i)tflysinβ(i)]T
其中,速度为 v ( i ) ∈ [ 0 , v m a x ] v(i) \in [0,v_{max}] v(i)∈[0,vmax] 以及角度 β ( i ) ∈ [ 0 , 2 π ] \beta(i) \in [0, 2\pi] β(i)∈[0,2π] 。本次飞行所消耗的能量可以表示为:
E f l y ( i ) = ϕ ∣ ∣ v ( i ) ∣ ∣ 2 E_{fly}(i) = \phi||v(i)||^2 Efly(i)=ϕ∣∣v(i)∣∣2
其中 ϕ = 0.5 M U A V t f l y \phi=0.5 M_{UAV} t_{fly} ϕ=0.5MUAVtfly , M 与无人机的有效载荷相关, t f l y t_{fly} tfly 为固定飞行时间。在MEC系统中,服务器提供的计算结果的大小通常非常小,可以忽略不计。因此,这里不考虑下行链路的传输延迟。MEC服务器的处理延迟可分为两部分。一部分是传输时延,可以表示为:
t t r , k ( i ) = R k ( i ) D k ( i ) r k ( i ) t_{t r, k}(i)=\frac{R_{k}(i) D_{k}(i)}{r_{k}(i)} ttr,k(i)=rk(i)Rk(i)Dk(i)
另一部分是在MEC服务器上计算产生的延迟,可以表示为:
t U A V , k ( i ) = R k ( i ) D k ( i ) s f U A V t_{U A V, k}(i)=\frac{R_{k}(i) D_{k}(i) s}{f_{U A V}} tUAV,k(i)=fUAVRk(i)Dk(i)s
其中 f U A V f_{U A V} fUAV 为服务器CPU计算频率。相应的,在 i 时间段将计算任务卸载给服务器所消耗的能量也可以分为两部分,一部分用于传输,一部分用于计算。在MEC服务器上进行计算时,其功耗可表示为:
P U A V , k ( i ) = κ f U A V 3 P_{U A V, k}(i)=\kappa f_{U A V}^{3} PUAV,k(i)=κfUAV3
则MEC服务器在第 i 时刻的能耗为:
E U A V , k ( i ) = P U A V , k ( i ) t U A V , k ( i ) = κ f U A V 2 R k ( i ) D k ( i ) s E_{U A V, k}(i)=P_{U A V, k}(i) t_{U A V, k}(i)=\kappa f_{U A V}^{2} R_{k}(i) D_{k}(i) s EUAV,k(i)=PUAV,k(i)tUAV,k(i)=κfUAV2Rk(i)Dk(i)s
2.3 问题公式化
在此基础上,提出了无人机辅助MEC系统的优化问题。为了确保有限的计算资源的有效利用,我们的目标是通过联合优化用户调度、无人机机动性和系统中的资源分配,使所有终端的最大处理延迟最小化。具体而言,优化问题可以表示为:
min { α k ( i ) , q ( i + 1 ) , R k ( i ) } ∑ i = 1 I ∑ k = 1 K α k ( i ) max { t l o c a l , k ( i ) , t U A V , k ( i ) + t t r , k ( i ) } s.t. α k ( i ) ∈ { 0 , 1 } , ∀ i ∈ { 1 , 2 , … , I } , k ∈ { 1 , 2 , … , K } , ∑ k = 1 K α k ( i ) = 1 , ∀ i , 0 ≤ R k ( i ) ≤ 1 , ∀ i , k , q ( i ) ∈ { ( x ( i ) , y ( i ) ) ∣ x ( i ) ∈ [ 0 , L ] , y ∈ [ 0 , W ] } , ∀ i , p ( i ) ∈ { ( x k ( i ) , y k ( i ) ) ∣ x k ( i ) ∈ [ 0 , L ] , y k ∈ [ 0 , W ] } , ∀ i , k , f k ( i ) ∈ { 0 , 1 } , ∀ i , k , ∑ i = 1 I ( E f l y , k ( i ) + E U A V , k ( i ) ) ≤ E b , ∀ k , ∑ i = 1 I ∑ k = 1 K α k ( i ) D k ( i ) = D \min _{\left\{\alpha_{k}(i), \mathbf{q}(i+1), R_{k}(i)\right\}} \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) \max \left\{t_{l o c a l, k}(i), t_{U A V, k}(i)+t_{t r, k}(i)\right\} \\ \text { s.t. } \alpha_{k}(i) \in\{0,1\}, \forall i \in\{1,2, \ldots, I\}, k \in\{1,2, \ldots, K\}, \\ \sum_{k=1}^{K} \alpha_{k}(i)=1, \forall i, \\ 0 \leq R_{k}(i) \leq 1, \forall i, k, \\ \mathbf{q}(i) \in\{(x(i), y(i)) \mid x(i) \in[0, L], y \in[0, W]\}, \forall i, \\ \mathbf{p}(i) \in\left\{\left(x_{k}(i), y_{k}(i)\right) \mid x_{k}(i) \in[0, L], y_{k} \in[0, W]\right\}, \forall i, k, \\ f_{k}(i) \in\{0,1\}, \forall i, k , \\ \sum_{i=1}^{I}\left(E_{f l y, k}(i)+E_{U A V, k}(i)\right) \leq E_{b}, \forall k , \\ \sum_{i=1}^{I} \sum_{k=1}^{K} \alpha_{k}(i) D_{k}(i)=D {αk(i),q(i+1),Rk(i)}mini=1∑Ik=1∑Kαk(i)max{tlocal,k(i),tUAV,k(i)+ttr,k(i)} s.t. αk(i)∈{0,1},∀i∈{1,2,…,I},k∈{1,2,…,K},k=1∑Kαk(i)=1,∀i,0≤Rk(i)≤1,∀i,k,q(i)∈{(x(i),y(i))∣x(i)∈[0,L],y∈[0,W]},∀i,p(i)∈{(xk(i),yk(i))∣xk(i)∈[0,L],yk∈[0,W]},∀i,k,fk(i)∈{0,1},∀i,k,i=1∑I(Efly,k(i)+EUAV,k(i))≤Eb,∀k,i=1∑Ik=1∑Kαk(i)Dk(i)=D
其中,等式 (9b)和等式 (9c)保证在第 i 个时间段只有一个用户被调度到计算中。等式 (9d)为计算任务卸载率的取值范围。约束(9e)和(9f)表示UE和UAV只能在给定区域内移动。约束(9g)表示无人机与终端之间的无线信道在 i 时隙被堵塞。约束(9h)保证无人机在所有时隙飞行和计算的能耗不超过最大电池容量。约束(9i)指定整个时间段内需要完成的所有计算任务。
无人机辅助移动边缘计算的计算卸载优化:一种深度确定性策略梯度方法(2)——模型构建相关推荐
- 多无人机辅助移动边缘计算中的任务卸载和轨迹优化
摘要: 提出了一个多无人机辅助移动边缘计算系统,系统部署了多个配备计算资源的无人机为本地资源有限的移动用户提供计算卸载机会.每个用户的计算任务分为两部分:一部分卸载到关联的无人机进行计算,剩余部分在本 ...
- 资源受限的移动边缘计算系统中计算卸载问题研究
摘要:本文针对边缘计算卸载问题,提出了两个创新点,并进行建模,在模拟实验中都得到了最好的结果.一是在用户-MEC-云端架构中,设计了对计算结果缓存,流行的计算结果进行缓存,再次请求则直接回复,不必计算 ...
- 对端边缘云网络计算模式:透明计算、移动边缘计算、雾计算和Cloudlet
对端边缘云网络计算模式:透明计算.移动边缘计算.雾计算和Cloudlet 概要 将数据发送到云端进行分析是过去几十年的一个突出趋势,推动了云计算成为主流计算范式.然而,物联网时代设备数量和数据流量的急 ...
- 第三章-云计算边缘计算雾计算
[前言]随着万物互联时代的到来,网络边缘设备产生的数据量快速增加,带来了更高的数据传输带宽需求.于此同时,新型应用也对数据处理的实时性提出了更高要求,传统云计算模型已经无法有效应对,边缘计算.雾计算应 ...
- 云计算/边缘计算/雾计算
边缘计算 什么是边缘计算 在靠近物或数据源头的一侧,采用网络.计算.存储.应用核心能力为一体的开放平台,就近提供最近端服务. 边缘计算的优势 其应用程序在边缘侧发起,产生更快的网络服务响应,满 ...
- 《 无人机辅助的NOMA通信系统优化设计》
[1]梁雪. 无人机辅助的NOMA通信系统优化设计[D]. 北京邮电大学, 2021. 论文结构 第一章 绪论 1.2 NOMA-无人机通信系统的国内玩研究现状 1.2.1 无人机通信研究现状 (1) ...
- 计算机图形图像学 ar,一种实现增强现实的方法及其应用、计算设备与流程
本发明涉及计算机图形图像学技术领域,特别涉及一种实现增强现实的方法及其应用.计算设备. 背景技术: 在计算机辅助骨科手术中应用增强现实技术(augmentedreality,ar)具有非常高的临床应用 ...
- 面向6G的无人机辅助通信技术
虽然目前5G商用化还在不断地普及当中,但前沿学术领域则早已开始了6G无线传输潜在关键技术的研究.在2021年中国物联网大会全国通信理论与技术学术会议上,北京邮电大学副教授.博士生导师王朝炜分享了他在6 ...
- gps两点距离 php,PHP应用:PHP计算百度地图两个GPS坐标之间距离的方法
<PHP应用:PHP计算百度地图两个GPS坐标之间距离的方法>要点: 本文介绍了PHP应用:PHP计算百度地图两个GPS坐标之间距离的方法,希望对您有用.如果有疑问,可以联系我们. 本文实 ...
最新文章
- 清华大学邀请阿里专家授课 主讲大数据
- 线程池之ScheduledThreadPool学习
- Java学习笔记53(网络编程:TCP协议案例)
- 笔记: 环境 - Postgre从安装到使用
- 前端学习(1291):nodejs的系统模块文件读取操作
- 小程序 模糊查询_[轻应用小程序]如何使用信息查询功能?
- 观、砺、破——我的算法之道
- Echarts 出现不明竖线解决方案
- excel中如何动态地创建控件以显示查询结果_一起学Excel专业开发02:专家眼中的Excel及其用户...
- python装饰器详解-python中的装饰器详解
- vb6源码 ymodem_VB6 实时曲线显示源码全套资料
- 机器学习中的数据及其处理
- 2021-07-23
- java语言介绍以及各个编程语言特点
- 空间直线与球面的相交算法
- 重学计算机组成原理(一) —— 冯诺伊曼结构
- java群侠传_梦幻群侠传之天剑如虹(下)
- 短视频查重机制及去重方法
- 浅谈 iframe的优缺点以及使用场景
- LeetCode224基本计算器用DFA实现超简洁