智能无线网络的深度学习：一项综合调查

摘要

作为一种有前途的机器学习工具，用于处理复杂原始数据的精确模式识别，深度学习（DL）正成为向大规模拓扑和复杂无线电传输的无线网络添加智能的有效方法。
DL使用许多神经网络层来实现从高维原始数据中快速提取特征。它可以用于根据大量网络参数（如延迟，丢失率，链路SNR等）的分析来查找网络动态（如
热点，干扰分布，拥塞点，流量瓶颈，频谱可用性等）。因此，DL可以分析具有多个节点和动态链路质量的极其复杂的无线网络。本文对不同网络层的DL算
法应用进行了全面的调查，包括物理层调制/编码，数据链路层访问控制/资源分配和路由层路径。本文还讨论了利用DL增强其他网络功能，如网络安全，传感数据
压缩等。此外，还详细讨论了该领域尚未解决的研究难题，代表了未来的研究趋势。基于DL的无线网络。本文可以帮助读者深入理解基于DL的无线网络设计的最
新技术，并选择有趣的未解决的问题来研究他们的研究.

关键词：无线网络，深度学习(DL)，深度强化学习(DRL)，协议层，性能优化

引言

人脑具有强大的数据处理能力。我们每天都要面对来自外部世界的大量数据。在复杂的环境下，我们的感官首先会收集大量的物体特征。然后大脑从这些特征数据中
提取抽象的特征，最后做出决定。在许多领域，计算机已经显示出与人类相当甚至更强大的能力，如玩游戏，自动控制，语音和图像识别等。计算机实现这些能力的
方法与人类非常相似。该训练过程允许计算机确定能够提取的神经节点之间的适当输入数据的特性。一旦神经网络经过训练，就可以做出适当的决定以获得高回报。
这个想法在许多现实世界的控制场景中都取得了巨大的成功，例如语音识别[2]，[3]，图像识别[4]，[5]，[6]，[7]，语义分析[8]，[ 9]，语言解释[10]，[11]，
游戏控制[12]，药物发现[13]，生物医学科学[14]，[15]，[16]等。

DL是机器学习的子类，它使用级联层从输入数据中提取特征并最终形成决策。 DL的应用应考虑四个方面：

如何将环境以数值格式作为DL网络的输入层;
如何表示/解释认知结果，即DL网络的输出层的物理意义;
如何计算/更新权值，以及在每个神经层中引导迭代权重更新的适当奖励函数是什么;
DL系统的结构，包括隐藏层的数量，每层的结构以及层之间的连接。

目前，许多DL系统与增强学习（RL）模型[17]相关联，其包括三个部分：

可以通过某些特征描述的环境
采取行动改变环境的代理
解释器，它表示当前状态和代理所采取的行动产生的奖励

同时，解释器在环境中行动生效后公布奖励，如（图1）所示.RL的目标是培训代理人，以便对于给定的环境状态，它选择产生最高回报的最佳行动。。因此，DL和RL之间
的主要区别之一是前者从示例（例如，训练数据）中学习以创建模型以对数据进行分类，然而，后者通过最大化与不同动作相关联的奖励来训练模型。

DL已经显示出惊人的处理许多现实场景的能力，比如AlphaGo的成功、手机上的人脸识别等等。计算机网络领域的研究人员也对深度学习应用产生了浓厚的兴趣。利用DL模
型可以表示复杂的网络环境，得到抽象的特征，最终为计算机网络节点实现更好的决策，从而实现网络服务质量(QoS)和体验质量(QoE)的改进。

无线网络具有复杂的特性，如通信信号特性、信道质量、各节点排队状态、路径拥塞情况等。另一方面，许多网络控制目标对通信性能有重要影响，如资源分配、队列管理、
拥塞控制等。为了处理复杂的情况，机器学习技术已经得到了广泛的探索。Chen等人对ML在无线网络中的应用进行了全面的总结，包括无人机无线通信和组网、无线虚拟现实、
移动边缘缓存和计算、频谱管理以及多无线接入共存、物联网等[19]。与传统方法相比，ML在这些领域的应用呈现出惊人的进步。

另一方面，由于现代无线网络变得越来越复杂，学习训练系统带来了越来越多的要求，如更高的计算能力，更大的数据集，更快更智能的学习算法，更灵活的输入机制[19]等。
显而易见，无线网络中的深度学习应用已经吸引了大量的兴趣。 DL为无线网络配备了“人脑”：它接受大量的网络性能参数，例如链路信噪比（SNR），信道保持时间，链路接
入成功/冲突率，路由延迟，丢包率，比特错误率等，并对内在模式（例如拥挤度，干扰对准效应，热点分布等）进行深度分析。这些模式可用于在不同的协议层中执行协议控制。
例如，路由层可以开始寻找新的备用路径; 传输层可以缩小拥塞窗口大小，等等。与传统的机器学习技术相比，DL在无线网络应用方面提供了更有前景的改进：

更高的预测准确性。无线网络具有高度复杂的特征，例如节点的移动性，信道变化，信道干扰等。由于深层神经层的缺失，机器学习方法无法深入分析这些特征。然而，输入
参数中隐藏的深度图案可以通过深度学习算法逐层抽象，从而提供更高的预测精度。
无需预处理输入数据。 ML的预测精度很大程度上取决于数据预处理。然而，DL的输入通常是直接从网络收集的特征参数。考虑到无线网络参数的显着多样性，DL的这种优点降
低了设计复杂度并提高了预测精度。

应用DL进行无线网络的成功归功于DL和人脑之间的以下三个相似之处：

容忍不完整甚至错误的输入原始数据：人类大脑可以容忍扭曲的样本。例如，我们仍然可以识别出有部分图像形状缺失的’1’的图像，并且我们可以从一个模糊的面部图像识别人物，
即使某些像素正在丢失。同样，DL使用深度神经网络来容忍输入数据或扭曲输入数据。这种能力对于无线网络很重要，因为由于信道衰弱，节点移动性和控制信道故障，不可能准确地
收集所有无线电链路的状态。
处理大量输入信息的能力：人脑可以同时吸收多种类型的复杂信息并做出良好的判断。例如，我们可以使用声音，图像和气味来检测狗的情况。同样，DL可以同时接受来自多个协议
层的大量性能数据（例如1000个节点的排队状态数据和链路干扰矩阵），然后确定大型网络中的具体拥塞。 DL将在bigdata无线传输中发挥关键作用，因为它能够分析巨大流量的性能参数。
做出控制决策的能力：我们的大脑会学习和指导我们的行为。被动学习可能不是网络分析的最终目标。使用学习结果来指导正确的网络控制是最终目标。利用马尔可夫决策模型，DL能
够发展入侵强化学习（DRL）模型，该模型可以使用系统状态，奖励功能和政策寻求的更新来制作基于最大向前计算的合适网络控制。因此我们可以使用DRL来实现大规模的无线网络控制。

在本文中，提出了针对无线网络中DL应用的全面调查。图2显示了我们在审查每个网络方面的各种用途时使用的分类法。我们在本次审核中的贡献包括3个重要方面：

不同层次的DL应用：我们将系统地分析采用DL/DRL进行不同层次网络特征提取的好处。如图2所示，物理层，DL可用于干扰对准。它还可以用于对调制模式，设计有效的纠错码等进行
分类。在数据链路层中，DL可以用于资源（例如信道）分配，链路质量评估等。在网络（路由）层中，它可以帮助寻找最佳路由路径。在更高层（例如应用层）中，它用于增强数据压缩和
多会话调度。我们将为每个DL应用程序提供核心设计，并比较不同的解决方案。
DL在安全性和其他网络功能方面的优势：除了上述协议栈之外，我们还将讨论在其他网络功能中使用DL的优势。一个评判标准是安全和隐私保护。今天，由于网络规模的增加和通过攻击
检测器/过滤器的大量流量，入侵检测变得更具挑战性。DL是执行大规模的检测潜入侵事件和网络配置文件分析理想工具。我们将解释DL如何用于将数据包分类为良性/恶意类型，以及如何将
其与其他机器学习方案（如无监督聚类）集成，以实现更好的异常检测效果。
未来趋势：由于该领域尚未成熟，许多问题尚未解决，我们将介绍使用DL增强一些流行无线网络的10个挑战性问题，如认知无线电网络（CRN），软件定义网络（ SDN），露水/雾计算等。
我们将为这10个问题中的每一个提供背景，动机，问题陈述和具体未解决的问题。它们对寻求新研究方向的读者很有帮助。

本文的其余部分安排如下：在第二部分，为准备讨论无线网络功能的DL应用，我们首先解释DL的基本数学模型，包括它与一般机器学习和基于图形的关系，学习框架。然后，我们将在第三节中讨
论基于DL的物理层增强在信号干扰和调制分类方面的问题。第四节讨论了DL在数据链路层设计中的重要性。一些典型的MAC设计示例用基于DL的增强来解释。在第V节中，描述了基于DL的路由层
操作，例如路径建立和优化。第六部分讨论了DL用于安全性和其他网络功能的用途。第七节总结了在无线网络研究中广泛使用的一些DL实现平台。接下来要解决的十个具有挑战性的研究问题在
第八节中说明，然后是第九节中的结合标记。

深度学习的基础

DL源自机器学习（ML）。在本节中，我们首先分析两种技术之间的差异和关系。然后，简要介绍了DL原则。

从机器学习到深度学习

ML和DL都解决了神经网络的现实问题。典型的ML系统由三部分组成：

输入层，将预处理数据作为系统输入。真实世界数据的特征（例如，像素值，形状，纹理等）需要由人预处理和识别，以便ML系统可以处理它们。
特征提取与处理层，其中数据处理的单层用于提取数据模式。目前，支持向量机(SVM)、主成分分析(PCA)、隐马尔可夫模型(HMM)等方法被广泛用于特征提取。
输出层，根据ML模型的任务，分析分类，回归，聚类，密度估计或降维的结果。 ML的示意结构如图3（a）所示。

输入到学习系统的原始数据可以是多种多样的，从图像，音频和视频等自然信息到各种定量事件描述。虽然学习系统的输入可能不同，但核心数据学习模块需要输入数据具有无形的形式，输入事件
根据该形式进行分类。因此，为了使学习过程能够“识别”输入数据，需要对原始自然数据进行预处理，即原始数据需要转换成适当的表示或特征向量，这可以被ML分类系统接受。数据预处理需要精心
设计，以保持与分类相关的原始自然数据的特征。分类精度受数据预处理方案的显著影响。

机器学习系统通常在输入和输出层之间只有一个隐藏层。这种类型的学习系统也被称为浅层学习网络，它提供任意函数逼近器，在一个隐藏层中具有足够的隐藏单元，并从输入层学习或多或少的独立
特征。例如，Chen等人提出了一种基于浅层学习网络的无线电地图学习系统，该系统利用机器学习方法开发无人机辅助无线网络的分段模型和信号强度模型，并重建精细结构的无线电地图，以提高
服务覆盖范围[20]。

相反，大多数深度学习系统在输入和输出层之间有一个隐藏层，其中上层的输入是其下层的输出，例如[21]，[22]，[22]中提出的学习网络。 [23]，[24]。 DL技术通过在输入层和输出层之间使用
多个隐藏层来避免复杂的输入数据处理，如图3（b）所示。然后将自然数据以其原型输入到学习系统中。然后，DL系统自动提取适当的表示以用于分类或检测目的。从自然数据开始，每个层从输入
数据中提取不同的特征，逐渐放大与决策制定更相关的特征并抑制不相关的特征。每层连接到相邻层，不同的权重连接到连接。为了确定权重的值，将大量样本发送到系统用于训练目的，这可以是
监督学习或无监督学习。在监督学习中，计算每个权重的梯度向量，指示误差随着权重的变化而变化。根据梯度向量，调整权重以减少误差。

深度学习框架

人类通过结合强化学习和高级分层感觉处理系统自发地与环境相互作用，实现诸如物体识别[25]，条件反射和选择[26]等许多任务。受动物行为的启发，提出深度强化学习，并引起了计算机智能的关注。
DL模型包括两个关键因素：前向特征抽象和后向错误反馈。训练过程通常需要两个要素，而验证过程只能实现前者。

深入学习物理层设计

DL在无线网络的物理层（PL）中起重要作用。例如，DL可以帮助确定最合适的调制/编码方案，根据复杂无线电条件的综合分析，包括频谱可用性，干扰分布，节点移动性，应用类型等。在下面的讨论中，
我们将提供一些典型的DL应用用于PL函数控制。

例如：

干扰对齐
抗干扰
调制分类
物理编码

浅谈DL在物理层中的应用

在无线网络中，干扰对齐和抗干扰是两个最棘手的问题，考虑到节点数量大，节点的移动性，信道条件的变化，复杂的频率使用等等.DL是处理复杂问题的理想工具，因为它从混合和巨大的物理层参数中
抽象出内在模式。另外，调制和纠错编码是物理层的基本功能，这往往需要在现代网络中进行大量计算，例如正交频分复用（OFDM）调制，网格编码调制（TCM），Turbo码，LDPC码，通过DL技术可以
显着改善这些操作的性能。然而，大多数物理层问题对反应时间有严格的限制，因此，DL服务器的使用和计算复杂度控制是物理层中DL应用的关键问题。

数据链接层的DL

DL用于频谱分配
DL用于流量预测
DL用于链接评估

浅谈DL在数据链路层中的应用

DL在数据链路层中的应用主要集中在资源分配，流量预测和链路评估问题上，产生了有希望的性能改进，如表IV所示。考虑到现代网络的大尺寸，DL系统通常需要读取巨大的DLL参数来做出决定。
因此，如何限制计算和数据大小是DLL中的学习应用的巨大挑战。同时，准确估计信道条件对于深度学习系统做出准确的DLL决策至关重要，这对于快速信道变化和决策制定过程的时间限制是一个挑战。

路由层

为无线网络开发的现代路由协议基本上分为四种类型：

基于路由表的主动协议
按需反应协议
地理协议
基于ML/DL的路由协议。

基于DL的路由协议由于其对复杂网络的优越性能而在过去几年中得到了广泛的研究。

基于RL的生命周期感知路由
DL用于路由路径搜索
DL用于其他路由性能优化

浅谈DL在路由层中的应用

对于基于DL的路由方案，集中路由与分布式路由是一个棘手的选择。这是因为深度学习过程需要巨大的参数作为输入来做出决定以及对神经网络进行大量计算。

如果采用集中式路由策略，则应仔细解决三个主要问题。

首先，必须将大量的网络环境数据（例如节点的能量状况，队列大小，信号强度等）发送到中央控制器。在这种情况下，由环境数据产生的传输负载是巨大的，并且过多的开销降低了网络的良好吞吐量。
其次，需要在有限的时间内建立路由拓扑。然而，当传输到中央控制器时，信道环境数据可能被延迟，从而导致路由形成的延迟。
第三，灵活性较低，即中心节点运行DL算法并不总是可用。例如，[74]中提出的路由方法采用集中式DL策略，其在基站中训练DL模型并由此对节点的连接级别进行分类。然而，对于某些自组织网络，很难找到具有巨大计算能力的中央服务器以及适当的地理位置。

另一方面，如果使用分布式路由策略，则每个节点（或每个源节点）必须训练几个DL模型。因此，每个节点都需要巨大的计算能力和存储空间。例如，分布式DL策略已被QELAR [69]和Kato的方案[71]采用，
其中源节点触发DL过程并使用训练模型生成路由拓扑。

因此，对于基于DL的路由设计，集中式和分布式策略之间的复杂选择是至关重要的，应该基于诸如网络结构和大小，路由算法，深度学习方法等的充分考虑。

DL用于其他网络功能

车辆网络调度
传感器数据简化
硬件资源分配
网络安全
- 流量识别
- 入侵检测

基于DL的框架实现

存在丰富的DL实现方法，其中一些已经在无线网络中执行。在下文中，给出了DL实现的总结。这些方法已经在无线测试平台中使用。

Matlab神经网络工具箱
TensorFlow
Caffe
Theano
Keras
WILL
定制模型

此外，还有许多其他流行的深度学习软件，如由分布式机器学习社区开发的MXNet [122]，Torch [123]，微软研究院开发的Microsoft CognitiveToolkit [124]
等。但是，很少有它们可以在网络应用程序中找到。表VI展示了无线网络中使用的深度学习软件平台的比较。

未来的研究趋势

为了帮助当前的研究人员识别这一重要领域中尚未解决的问题，本节我们将解释10个具有挑战性的问题，并指出未来的研究趋势。尽管这10个问题并未代表
基于DL的无线网络的所有未解决的研究主题，但他们还是havelong 对当今流行的无线基础设施的主要影响，包括认知无线电网络，软件定义网络，露水/云
计算，大数据网络等。

DL用于传输层优化

拥塞控制是传输层的主要功能。然而，现有的拥塞控制方法大多是基于端到端ACK或NACK反馈来间接推断拥塞的发生。例如，TCP使用ack反馈来推断拥塞事件。最准确的方法是
直接分析路由路径中每个节点的队列，精确地确定哪个节点的队列发生了溢出事件，该事件表示该节点的拥塞。

显然，单个节点的队列无法反映整个路径中的拥塞分布。在不同节点之间执行多队列协同建模以检测“拥塞传播”是很重要的。例如，在早期阶段，一个节点可能具有非常轻的拥塞（即，
稀疏地发生溢出）;然而，多个稀疏的拥塞可以在另一个节点上累积到严重拥塞。多队列协同建模可以帮助找到这样的累积模式。

特别地，DL可用于执行大规模网络队列分析。假设每个节点通过带外控制信道向中心节点报告其队列状态（例如大小，输入流量速率，输出流量速率等），然后中心节点可以运行DL来分析队
列的数据累积状态。例如，它可以找出流量是否在特定节点的队列中累积并且可能导致溢出的概率很高。 DL还可以帮助找到最佳解决方案来缓解拥堵情况。例如，它可以在大多数时间找
到一个队列相对较小的节点，并且该节点可以接受更高的传输速率; 或者，它可以在RED区域（即，具有拥塞队列的网络区域）中找到另一组节点，以建立备用路径以从主路径转移拥塞的业务。

在上述情景中可以研究许多有趣的研究问题。例如，我们如何提出一种时间演化的DL算法来检测多队列进化模式？我们如何定义拥塞阈值，即哪个队列大小是RED区域的良好指示？
如何将拥塞控制方案与备用路由路径建立协议集成？如果拥塞发生在不是邻居的多个节点中，我们如何控制拥塞/非拥塞节点中的流量速率以实现整个路径的平滑流量？等等

使用DL促进大数据传输

今天有许多大数据应用，如大规模智能城市监控，国家医疗管理，空气污染监测等。无需传输大数据在遥感和恶劣环境中是必要的，而不需要部署电线。例如，在大城市中，许多移动电话可以
将其数据（例如用户轨迹，用户行为，患者医疗保健数据等）发送到附近的无线基站（可以是Wi-Fi接入点，蜂窝网络塔，5G路由器，等），最终到达云服务器。

由于以下三个原因，大数据的传输是一项具有挑战性的任务：首先，没有标准/协议规定无线网络操作可以有效地每秒输送>100T比特的数据。其次，现有的路由协议不能提供“厚”数据管道来同
时每秒输送> 1T数据包。第三，由于在很短的时间内存在巨大的交通密度，因此网络状态实时监控非常困难（回想一下大数据具有4V特征，即体积，速度，准确性和多样性）.

DL是一种很有前景的分析方法。大数据传输动力学在大流量的路由延迟分析，节点之间的流量平衡和链路访问控制方面。例如，我们可以使用DL来分析每一跳中巨大流量的时空模式，并找出具有最大数据流量的网
络的热点。通过比较逐跳大流量传输延迟，我们可以了解每一跳的平均链路质量/稳定性，然后可以确定不同链路中的流量分配，以避免可能的流量瓶颈。

此外，还需要研究许多研究问题。例如，DL如何帮助构建/维护每秒可传输> 1T数据包的厚路由管道？我们如何应用DL来预测某些跳跃中的链路故障？适当的MAC参数（例如后退窗口大小，时隙长度，RTS/CTS时序等）
适应大流量的巨大速度/容量的QoS要求在一组相邻节点中？等等。

基于DL的网络集群

有许多有趣的无线网络群集应用。一个典型的例子是无人机蜂拥而至，即大量的无人机建立各种网络拓扑来完成不同的任务（如环境监测，敌人狩猎，森林火灾控制等），如图16所示。其他应用场景包括蜂拥而至海底
资源探索海洋资源; 合作的战争机器人等。

蜂群控制中的一个具有挑战性的问题是基于任务和通信要求的节点布局。在网络部署开始时，所有节点都是随机分布的。那些节点可能具有不同的密度分布（一些地方具有更密集分布的节点，而其他地方可能是稀疏的）。
然后问题是：如何引导每个节点的移动轨迹实现两个目标：（1）形成所需的蜂拥形状; （2）保持良好的沟通架构？注意，一些节点可能具有比其他节点更强的通信能力，例如，它们可能具有更强大的定向天线，更高的
无线电链路速度，更快的CPU速度等。这些节点可以放置在地层中的“桥接”位置（例如图17中A和B的位置）。这些桥接位置在蜂拥形状维护以及通信连接增强方面发挥着关键作用。一旦它们破碎，不同的蜂拥区域就会被隔离。

整个群集网络可以具有不同的群集分布，即，一些群集具有比其他群集更多的节点（更高的密度）。这使节点放置成为一项艰巨的任务。应该将哪些类型的节点移动到不同的集群或这些集群之间？这里可以使用DL来描述
拓扑配置文件，例如节点通信/计算容量，到期望的转换位置（对于每个节点）的距离，移动速度等。桥接点可以基于它们的位置加权（即，确定它们的重要级别）。在不同类型的集群之间。可以将节点分派到基于拓扑配
置文件的那些位置。

将DL与软件定义网络（SDN）结合

软件定义网络（SDN）由于通过集中控制大大简化了路由/交换管理，因此成为一种有前途的网络方案。它采用独立的控制面板（CP）和数据面板（DP）管理。CP由一个或多个控制器组成将流量转发控制规则发送给DP。
DP中的流表接受这些规则来执行数据转发功能。在SDN中，传统的特定于供应商的路由器/交换机已经被DP中的通用，简单的数据转发设备（称为交换机）所取代.DP不运行协议特定的数据链路/物理层协议。相反，
它们只是简单地解释流表规则并使用规则将数据包转发到DP中的下一个交换机。

从以上SDN的特性可以看出，DL和SDN可以“天作之合”，原因有二：（1）CP具有全局网络监控功能。这是因为DP中的每个交换机/路由器可以实时地向CP反馈其数据转发性能（例如排队延迟，链路速率，丢包率等）。
因此，CP能够构建全局网络配置文件。（2）CP具有中央控制权。可以在CP控制器中执行DL以分析网络配置文件并确定DP中的流表的规则变化。

上述场景中存在一些研究问题：首先，我们需要解决网络配置文件的形成问题。需要从DP收集哪些类型的参数？什么类型的大数据架构适合于网络配置文件描述，例如，大张量，大图或大时间序列？ DL应该用于什么目的，
例如路由决策，队列控制或调度控制？多个CP控制器如何相互协调以实现对整个网络的一致视图？还有很多其他问题。

无线节点中的分布式DL实现

虽然DL是一种提取网络动态/模式的强大方案，但如果在单个网络节点中运行，则可能带来很多负担。虽然通过减少DL算法的复杂性，我们可以减轻运行节点的开销。另一种有效的方法是将DL计算负载分配给多个节点，即使
用分布式DL实现。

使用分布式DL模型时，需要解决一些具有挑战性的问题。首先，DL算法的哪些部分可以分解为分布式任务？基于“神经细胞”到不同节点的预定位，可以将梯度神经网络层权重更新/错误传播外包给一组相邻节点。第二，
不同的无线节点如何通过MAC协议相互交换输入参数和输出数据（即计算结果）？注意，这样的MAC应该通过使用良好调度的RTS / CTS交换或基于TDMA的传输来最小化信道接入冲突。第三，哪个节点负责最终的DL输出
层组装？如何通过此节点确保分布式算法收敛到稳定的结果？

基于DL的跨层设计

虽然以上部分涵盖了DL应用程序方面的不同个体层，但跨层设计可能是一种更有效的方法来充分探索所有层用于长期网络性能优化的信息。事实上，每个层都可以提供许多有价值的性能指标（表VII中列出的一些），可用于
实现跨层全局网络性能优化。例如，信道质量，天线波束方向，节点移动性等可用于确定天线的每个波束中的业务分配。路由选择器逐跳延迟和分组丢失率可用于确定传输层拥塞窗口大小。可以使用MAC层单跳链路访问
成功/失败信息来确定路由路径选择。

DL是融合上述各种跨层指标并提取用于协议优化的内在网络模式的完美工具。通过使用大张量概念，我们可以将上述度量安排到多类张量记录中，然后应用张量分解来提取基本模式。这些模式可以告诉我们网络在不久的
将来是否会出现严重的数据包丢失，并将网络拓扑分类为热点和轻型流量区域。模式还可以指示整个网络中的链路干扰分布，并帮助我们避免高干扰区域。

基于DL模式提取结果，不同的层应该彼此协作以执行跨层优化。例如，如果DL指示一组节点形成高丢包率的“暗洞”，则MAC层应使用更强的FEC来克服该区域中的比特错误; 路由层可以重新建立一条新的路径来围绕这样一
个洞; 并且传输层可以使用更小的拥塞控制窗口大小。

基于DL的应用层增强

到目前为止，我们还没有对基于DL的应用层（AL）增强进行过多讨论，因为这项调查主要关注核心网络协议设计问题。然而，从任务要求的角度来看，AL对其他层面有重大影响。例如，如果我们的任务是向组播用户提
供HDTV流，则AL应指定视频流的所有QoS和QoE（体验质量）要求。然后，较低层可以将这些QoS / QoE参数作为性能目标并调整它们的相应协议操作。

DL可用于根据收集的网络性能参数了解网络状态（参见表VII）。然后DL输出建议的性能目标变化inAL。例如，如果网络只能提供> 100ms的端到端延迟，则建议AL使用不同的视频编码方法来满足网络限制。

此外，DL可以直接用于提高性能。例如，它可以用来分析网页显示性能(刷新速度、显示速度、图像分辨率等)。它还可以用来进行网络安全分析，以检测垃圾邮件和恶意网站。

这里具有挑战性的问题是基于AL性能目标或应用程序配置文件数据定义低复杂度DL模型，并解决DL问题以生成一系列有用的结果，这些结果可由较低层解释以用于协议操作控制目的。例如，如果AL具有视频流应用程序，
我们如何定义AL模型以将QoS / QoE性能目标转换为具体的拥塞控制和路由参数？如何将不同的应用程序分类为各种跨层协议设计选项？等等。

基于DL的Dew-Fog-Cloud计算安全

我们总结了DL算法在网络安全性中的应用，如入侵检测。这是一个关键领域，并将继续吸引许多研究兴趣，因为无数新的攻击不断涌现。在这里，我们想要指出DL将在一个有前途的网络基础设施（称为露水/雾/云计算
（DFC-C））的安全性中发挥重要作用。这种新的网络架构具有以下两个重要特征：（1）通过计算单元收集数据：大量露水计算设备（如传感器，RFID芯片等）可以在任何地方部署，并通过无线网络连接（例如Zigbee-基于系统）。
雾计算基础设施包括一系列远程无线中继，例如Wi-Max节点或手机信号塔，以将聚合的计算数据传送到任何云服务器。

从安全角度来看，上述露雾云架构给对手带来了许多攻击机会。例如，人们可以通过伪造传感器数据来“污染”部分露水计算数据，或者误导雾计算段中的路由路径选择。声称有更好的道路，等等。

为了处理大规模露水计算源和并发雾计算路由拓扑，DL是解析所有无线节点/链路参数并减少可能的攻击位置和类型的自然选择。例如，我们可以使用所有露点节点的传感器数据作为样本，并运行基于DL的数据聚类测试以
找出潜在的数据样本中毒攻击。这里具有挑战性的问题是基于特定的网络安全问题清楚地定义具有适当的输入/输出层解释的DL模型。不同的安全/隐私问题意味着DL应具有不同的输入/输出/梯度参数更新结构。例如，
隐私保护强调保护敏感数据属性（例如患者姓名），并且可以使用各种ID隐藏模型来定义DL梯度权重更新过程。

从DL到DRL:认知无线电网络控制的应用

DL专注于“被动”数据学习，以识别隐藏在数据中的内在模式。然而，对于每个提取的数据模式，它没有具体的“反应”。深度强化学习使用马尔可夫决策模型来指导基于状态转换模型的不同“动作”的选择。因此，在许多实际应用
中，DRL比DL算法起着更重要的作用。

在这里，我们强调DRL对认知无线网络（CRN）控制的好处。由于其灵活的频谱接入，CRN是一种重要类型的无线网络，即，节点可以抓取任何可用（免费）频道发送数据，并且如果主要用户（PU）返回使用频道，则可以及时
再次腾出频道。

DRL可用于控制以下CRN操作：（1）频谱感知：DRL模型可用于确定信道扫描顺序。应首先扫描一些具有较高空闲机会的通道。请注意，如果需要扫描和分析数千个通道，则频谱扫描是一个耗时的过程。通过首先检查免费频道，
我们可以节省频谱感知时间。（2）频谱切换：当PU返回时，则应切换到其他信道。信道切换时间和切换到哪个信道是两个至关重要的问题。我们是否应该等待PU的即将到来的事件来决定频道切换操作，还是我们可以预测PU的
传输时间并预先搜索备份频道？显然，后者具有更好的通信质量，可以避免一些丢包事件。

需要根据各种CRN操作要求明确定义适当的DRL模型。例如，DRL可以与排队模型集成以确定频谱切换延迟，即，用户可以基于PU流量分析占用现有信道多长时间，以及用户何时应该开始寻找新信道，等等。

实际无线平台中的高效DL/DRL实现

上述DL/DRL算法最终需要在实际的无线网络产品中实现。然而，由于以下挑战，无法在无线设备中简单地理解纯粹的理论理解：

难以收集DL输入层的网络参数：所有DL算法都需要训练和测试阶段。在每个阶段，深度神经网络的输入层由数据样本的参数组成。样本越完整（就数据属性而言），准确地说DL就可以识别网络特征。许多网络参数来
自MAC和路由层，涉及许多中继节点的响应。然而，由于不可预测的链路延迟和无线电干扰，thosenodes可能没有关于其通信状态的快速反馈。因此，DL模型应设计为容许输入层中的某些参数未命中或数据错误。
无线设备的资源限制：许多无线产品的内存和CPU能力有限。 Theydo不允许将复杂算法编程到现有协议中。由于DL具有迭代执行性质，因此可以延长系统响应时间。 DL算法应该最小化中间计算参数以保存存储空间。
应优化算法以减少执行时间。
不完整的培训样本集：DL需要完整或接近完整的培训样本，以准确识别网络模式。然而，由于难以针对每种可能的网络状态收集如此多的数据点，因此训练样本可能非常有限。这要求DL在识别新模式失败后应具有添加
新样本的能力。新添加的样本可以提高DL模型的准确性。

此外，网络工程师/程序员应该仔细定义DL数据格式，因为不同的网络参数具有非常不同的数据属性和格式要求。应明确定义一些适当的数字表示和数据规范化方法，以将多个网络参数聚合到同一DL输入层中。

总结

本文综合回顾了应用DL方案进行无线网络性能增强的方法。极其简括地说，（1）DL / DRL由于其类似人脑的模式识别能力，对于智能无线网络管理非常有用。随着当今无线产品硬件性能的提高，其应用变得更加容易。
（2）它在多个协议层中起着关键作用。我们在物理层，MAC层和路由层中总结了它的应用。它使网络更加智能地实现整个拓扑和链路条件的变化，并有助于生成更合适的协议参数控制。
（3）它可以与当今的各种无线网络方案集成，包括CRN，SDN等，以实现集中或分布式资源分配和流量平衡功能。本文还列出了在该领域近期需要解决的十个重要研究问题。它们涵盖了一些有前途的无线应用，如网络群集，
CRN频谱切换，SDN流量更新，露雾计算安全等。本文将帮助读者了解DL增强无线网络协议的最新技术，并找到一些有趣的在这个关键领域追求具有挑战性的研究课题。

引用

[1] J. Patterson and A. Gibson, “Deep Learning: A Practitioner’s Ap-proach,” O’Reilly Media, Inc., 2017.

[2] G. Hinton, L. Deng, D. Yu, et al., “Deep neural networks for acousticmodeling in speech recognition”,IEEE Signal Process. Mag., vol. 29,no. 6, pp. 82-97, Nov. 2012.

[3] T. N. Sainath, A.-R. Mohamed, B. Kingsbury, and B. Ramabhadran,“Deep convolutional neural networks for LVCSR”, InProc. 2013 IEEEInternational Conference on Acoustics, Speech and Signal Processing(ICASSP 2013), Vancouver, BC, Canada, May 2013, pp. 8614-8618.

[4] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet classificationwith deep convolutional neural networks,” InProc. the 25th Interna-tional Conference on Neural Information Processing Systems (NIPS2012), vol. 1, Lake Tahoe, Nevada, USA, Dec. 2012, pp. 1097-1105.

[5] C. Farabet, C. Couprie, L. Najman, and Y. LeCun, "Learning hierar-chical features for scene labeling,"IEEE Trans. Pattern Anal. Mach.Intell., vol. 35, no. 8, pp. 1915-1929, Oct. 2012.

[6] J. Tompson, A. Jain, Y. LeCun, and C. Bregler, “Joint training of aconvolutional network and a graphical model for human pose estima-tion,” InProc. the 27th International Conference on Neural InformationProcessing Systems (NIPS 2014), vol. 1, Montreal, Canada, Dec. 2014,pp. 1799-1807.

[7] Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning,"Nature, vol.521, pp. 436-444, May 2015.

[8] R. Collobert, J. Weston, L. Bottou, et al., "Natural language processing(almost) from scratch,"J. Mach. Learn. Res., vol. 12, pp. 2493-2537,Aug. 2011.

[9] A. Bordes, J. Weston, and S. Chopra, "Question answering withsubgraph embeddings,"eprint arXiv:1406.3676, Sept. 2014.

[10] I. Sutskever, O. Vinyals, and Q. V. Le, “Sequence to sequence learningwith neural networks,” InProc. the 27th International Conferenceon Neural Information Processing Systems (NIPS 2014), Montreal,Canada, Dec. 2014, pp. 3104-3112.

[11] S. Jean, K. Cho, R. Memisevic, and Y. Bengio, “On using very largetarget vocabulary for neural machine translation,” InProc. the 53rdAnnual Meeting of the Association for Computational Linguistics (ALC2015), Beijing, China, Jul. 2015, pp. 1-10.

[12] D. Silver, A. Huang, C. J. Maddison, A. Guez, et al., "Mastering thegame of go with deep neural networks and tree search,"Nature, vol.529, no. 7587, pp. 484-489, Jan. 2016.

[13] J. Ma, R. P. Sheridan, A. Liaw, G. E. Dahl, and V. Svetnik, "Deepneural nets as a method for quantitative structure-activity relationships,"J. Chem. Inf. Model., vol. 55, no. 2, pp. 263-274, Jan. 2015.

[14] M. Helmstaedter, K. L. Briggman, S. C. Turaga , V. Jain, et al.,"Connectomic reconstruction of the inner plexiform layer in the mouseretina,"Nature, vol. 500, no. 7461, pp. 168-174, Oct. 2014.

[15] M. K. K. Leung, H. Y. Xiong, L. J. Lee, and B. J. Frey, "Deep learningof the tissue-regulated splicing code,"Bioinformatics, vol 30, no. 12,pp. 121-129, Jun. 2014.

[16] H. Y. Xiong, B. Alipanahi, L. J. Lee, H. Bretschneider, et al., "Thehuman splicing code reveals new insights into the genetic determinantsof disease,"Science, vol. 347, no. 6218, pp. 144-151, Jan. 2015.

[17] R. S. Sutton and A. G. Barto., "Reinforcement Learning: An Introduc-tion,"Springer Science+Business Media, LLC, 1992.

[18] M. A. Alsheikh, S. Lin, D. Niyato, and H.-P. Tan, "Machine learningin wireless sensor networks: Algorithms, strategies, and applications,"IEEE Commun. Surv. Tutor., vol. 16, no. 4, pp. 1996-2018, Nov. 2014.

[19] M. Chen, U. Challita, W. Saad, C. Yin, and M. Debbah, "Machinelearning for wireless networks with artificial Intelligence: A Tutorialon Neural Networks,"eprint arXiv: 1710.02913, Oct. 2017.

[20] J. Chen, U. Yatnalli, and D. Gesbert, “Learning radio maps for UAV-aided wireless networks: A segmented regression approach,” inProc.IEE International Conference on Communications (ICC 2017), SignalProcessing for Communications Symposium, May 2017, Paris, France.

[21] Y. Xiao, Z. Han, D. Niyato, and C. Yuen, “Bayesian reinforcementlearning for energy harvesting communication systems with uncer-tainty,” inProc. IEEE International Conference on Communications(ICC 2015), Next Generation Networking Symposium, London, UK,June 2015.

[22] M. Bennis and D. Niyato, “A Q-learning based approach to interfer-ence avoidance in self-organized femtocell networks,” inProc. IEEEGlobal Communications Conference (GLOBECOM 2010) Workshops,Workshop on Femtocell Networks, Miami, FL, USA, December 2010.

[23] M. Chen, M. Mozaffari, W. Saad, C. Yin, M. Debbah, and C. S. Hong,"Caching in the sky: proactive deployment of cache-enabled unmannedaerial vehicles for optimized quality-of-experience,"IEEE J. Sel. AreasCommun., vol. 35, no. 5, pp. 1046-1061, May 2017.

[24] M. Chen, W. Saad, C. Yin, and M. Debbah, "Echo state networks forproactive caching in cloud-based radio access networks with mobileusers,"IEEE Trans. Wireless Commun., vol. 16, no. 6, pp. 3520 - 3535,June 2017.

[25] T. Serre, L. Wolf, and T. Poggio, “Object recognition with featuresinspired by visual cortex,” inProc. IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition (CVPR 2005), San Diego,CA, USA, Jun. 2005, pp. 994-1000.

[26] T. V. Maia, "Reinforcement learning, conditioning, and the brain:Successes and challenges,"Cognitive, Affective, & Behavioral Neu-roscience, vol. 9, no. 4, pp. 343-364, Dec. 2009.

[27] V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, et al., "Human-levelcontrol through deep reinforcement learning,"Nature, vol. 518, no.7540, pp. 529-533, Feb. 2015.

[28] C. J. C. H. Watkins and P. Dayan, "Q-learning,"Mach. Learn., vol. 8,pp. 279-292, May 1992.

[29] S. S. Sonawane and P. A. Kulkarni, "Graph based representation andanalysis of text document: A survey of techniques,"Int. j. comput.appl., vol. 96, no. 19. pp. 1-8, Jun. 2014.

[30] M. M. Bronstein, J. Bruna, Y. LeCun, A. Szlam, and P. Vandergheynst,"Geometric deep learning: going beyond euclidean data,"IEEE Sig.Proc. Mag., vol. 34, no. 4, pp. 18-42, May 2017.

[31] J. Bruna, W. Zaremba, A. Szlam, and Y. LeCun, “Spectral networks anddeep locally connected networks on graphs,” inProc. 2nd InternationalConference on Learning Representations (ICLR 2014), Banff, Canada,Apr. 2014, pp. 1-14.

[32] Y. Hechtlinger, P. Chakravarti, and J. Qin, "A Generalization ofConvolutional Neural Networks to Graph-Structured Data,"eprintarXiv:1704.08165, Apr. 2017.

[33] M. Henaff, J. Bruna, and Y. LeCun, "Deep convolutional networks ongraph structured data,"eprint arXiv:1506.05163, Jun. 2015.

[34] M. Defferrard, X. Bresson, and P. Vandergheynst, “Convolutional neu-ral networks on graphs with fast localized spectral filtering,” inProc.Conference on Advances in Neural Information Processing Systems(NIPS 2016), vol. 29, Barcelona, Spain, Dec. 2016, pp. 3837-3845.

[35] T. N. Kipf and M. Welling, "Semi-supervised classification withgraph convolutional networks,"Proc. 5th International Conference onLearning Representations (ICLR 2017), Toulon, France Apr. 2017, pp.1-14.

[36] J. Lee, H. Kim, J. Lee, and S. Yoon, “Transfer learning for deeplearning on graph-structured data,” inProc. the 31st AAAI Conferenceon Artificial Intelligence (AAAI 2017), San Francisco, USA, Feb. 2017,pp. 1-7.

[37] S. J. Pan and Q. Yang, "A survey on transfer learning,"IEEE Trans.Knowl. Data Eng., vol. 22, no. 10, pp. 1345-1359, Oct. 2010.

[38] V. R. Cadambe and S. A. Jafar, "Interference alignment and degreesof freedom of the K-user interference channel,"IEEE Trans. Inform.Theory,vol. 54, no. 8, pp. 3425-3441, Aug. 2008.

[39] N. Zhao, F. R. Yu, M. Jin, Q. Yan, and V. C. M. Leung, "Interfer-ence alignment and its applications: A survey, research issues andchallenges,"IEEE Commun. Surveys Tutorials, vol. 18, no. 3, pp. 1779-1803, Mar. 2016.

[40] Y. He, C. Liang, F. R. Yu, N. Zhao, and H. Yin, “Optimization ofcache-enabled opportunistic interference alignment wireless networks:a big data deep reinforcement learning approach,” inProc. 2017IEEE International Conference on Communications (ICC 2017), Paris,France, May 2017, pp. 1-6.

[41] G. Han, L. Xiao, H. V. Poor, “Two-dimensional anti-jamming commu-nication based on deep reinforcement learning,” inProc. 2017 IEEEInternational Conference on Acoustics, Speech and Signal Processing(ICASSP 2017), New Orleans, LA, USA, Mar. 2017, pp. 2087-2091.

[42] S. Peng, H. Jiang, H. Wang, H. Alwageed, and Y. Yao, “Modulationclassification using convolutional neural network based deep learningmodel,” inProc. 26th Wireless and Optical Communication Conference(WOCC 2017), Newark, NJ, USA, Apr. 2017, pp. 1-5.

[43] A. Krizhevsky, I. Sutskever, and G. Hinton, “ImageNet Classificationwith Deep Convolutional Neural Networks,” inProc. 25th InternationalConference on Neural Information Processing Systems (NIPS 2012),Lake Tahoe, Nevada, USA, Dec. 2012, pp. 1097-1105.

[44] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, et al., “Caffe: Convolu-tional Architecture for Fast Feature Embedding,” inProc. 22nd ACMinternational conference on Multimedia (MM 2014), Orlando, Florida,USA, Nov. 2014, pp. 675-678.

[45] E. Nachmani, Y. Beery, and D. Burshtein, “Learning to decode linearcodes using deep learning,” inProc. 54th Annual Allerton Conferenceon Communication, Control, and Computing (Allerton 2016), Monti-cello, Illinois, USA, Sept. 2016, pp. 341-346.

[46] E. Nachmani, E. Marciano, D. Burshtein, and Y. Beery, "RNN decodingof linear block codes,"eprint arXiv:1702.07560, Feb. 2017.

[47] T. Gruber, S. Cammerer, J. Hoydis, and S. Brink, “On deep learning-based channel decoding,” inProc. IEEE 51st Annual Conference onInformation Sciences and Systems (CISS 2017), Baltimore, MD, USA,Mar. 2017, pp. 1-6.

[48] S. Cammerer, T. Gruber, J. Hoydis, and S. t. Brink, "Scalingdeep learning-based decoding of polar codes via partitioning,"eprintarXiv:1702.06901, Feb. 2017.

[49] N. Samuel, T. Diskin, and A. Wiesel, "Deep MIMO detection,"eprintarXiv:1706.01151, Jun. 2017.

[50] Y. S. Jeon, S. N. Hong, and N. Lee, “Blind detection for MIMO systemswith low-resolution ADCs using supervised learning,” inProc. 2017IEEE International Conference on Communications (ICC 2017), Paris,France, May 2017, pp. 1-6.

[51] N. Farsad and A. Goldsmith, "Detection algorithms for communicationsystems using deep learning,"eprint arXiv:1705.08044, Jul. 2017.

[52] T. O’Shea and J. Hoydis, "An introduction to deep learning for thephysical layer,"eprint arXiv:1702.00832, Jul. 2017.

[53] U. Challita, L. Dong, and W. Saad. “Deep learning for proactiveresource allocation in LTE-U networks.” inProc. 23th EuropeanWireless Conference (European Wireless 2017), Dresden, Germany,May 2017, pp. 1-6.

[54] W. Zaremba, I. Sutskever, and O. Vinyals, “Recurrent neural networkregularization,” inProc. International Conference on Learning Repre-sentations (ICLR 2015), San Diego, CA, USA, May 2015, pp. 1-8.

[55] R. J. Williams, "Simple statistical gradient-following algorithms forconnectionist reinforcement learning,"Machine Learning, vol. 8, no.3-4, pp. 229-256, May 1992.

[56] R. S. Sutton, D. McAllester, S. Singh, and Y. Mansour, "Policy gradientmethods for reinforcement learning with function approximation,"in12th International Conference on Neural Information ProcessingSystems (NIPS 1999), Denver, CO, USA, Dec. 1999, pp. 1057-1063.

[57] M. Balazinska and P. Castro, “Characterizing mobility and networkusage in a corporate wireless local-area network,” inProc. 1st Interna-tional Conference on Mobile Systems, Applications, and Services, SanFrancisco, CA, USA, May 2003, pp. 303-316.

[58] Z. Xu, Y. Wang, J. Tang, J. Wang, and M. C. Gursoy, “A deep reinforce-ment learning based framework for power-efficient resource allocationin cloud RANs,” inProc. 2017 IEEE International Conference onCommunications (ICC 2017), Paris, France, May 2017, pp. 1-6.

[59] H. Sun, X. Chen, Q. Shi, M. Hong, et al., "Learning to optimize:Training deep neural networks for wireless resource management,"inProc. IEEE 18th International Workshop on Signal ProcessingAdvances in Wireless Communications (SPAWC 2017), Sapporo, Japan,Jul. 2017, pp. 1-6.

[60] Q. Shi, M. Razaviyayn, Z.-Q. Luo, and C. He, "An iteratively weightedMMSE approach to distributed sum-utility maximization for a MIMOinterfering broadcast channel,"IEEE Trans. Signal Process., vol. 59,no. 9, pp. 4331-4340, Apr. 2011.

[61] O. Naparstek and K. Cohen, "Deep multi-user reinforcement learningfor distributed dynamic spectrum access,"eprint arXiv:1704.02613,Apr. 2017.

[62] K. Cohen, A. Leshem, and E. Zehavi, "Game theoretic aspects of themulti-channel ALOHA protocol in cognitive radio networks,"IEEE J.Sel. Areas Commun., vol. 31, no. 11, pp. 2276-2288, Nov. 2013.

[63] J Wang, J. Tang, Z. Xu, Y. Wang, et al., “Spatiotemporal modelingand prediction in cellular networks: A big data enabled deep learningapproach,” inProc. IEEE Conference on Computer Communications(INFOCOM 2017), Atlanta, GA, USA, May 2017, pp. 1-10.

[64] R. J. Hyndman and G. Athanasopoulos,Forecasting: Principles andPractice, OTexts, Sept. 2014.

[65] H. Drucker, C. J. C. Burges, L. Kaufman, A. Smola and V. Vap-nik, “Support vector regression machines,” inProc. 9th InternationalConference on Neural Information Processing Systems (NIPS 1996),Denver, CO, USA, Dec. 1996, pp. 155-161.

[66] J. A. K. Suykens and J. Vandewalle, "Least squares support vectormachine classifiers,"Neural Process. Lett., Vol. 9, No. 3, pp. 293-300,Jun. 1999.

[67] L. Liu, Y. Cheng, L. Cai, S. Zhou, Z. Niu, “Deep learning based opti-mization in wireless network,” in2017 IEEE International Conferenceon Communications (ICC 2017), Paris, France, May, 2017, pp. 21-25.

[68] G. E. Hinton, S. Osindero, and Y.-W. Teh, "A fast learning algorithmfor deep belief nets,"Neural comput., vol. 18, no. 7, pp. 1527-1554,Jul. 2006.

[69] T. Hu and Y. Fei, "QELAR: A machine-learning-based adaptive routingprotocol for energy-efficient and lifetime-extended underwater sensornetworks,"IEEE Trans. Mobile Comput., vol. 9, no. 6, pp. 796-809,Jun. 2010.

[70] P. Xie, J.-H. Cui, and L. Lao, “VBF: Vector-based forwarding protocolfor underwater sensor networks,” inProc. 5th international IFIP-TC6 conference on Networking Technologies, Services, and Protocols(Networking 2006), Coimbra, Portugal, May 2006, pp. 1216-1221.

[71] N. Kato, Z. M. Fadlullah, B. Mao, F. Tang, et al., "The deep learningvision for heterogeneous network traffic control: proposal, challenges,and future perspective,"IEEE Wirel. Commun., vol. 24, no. 3, pp. 146-153, Jun. 2017.

[72] I. Goodfellow, Y. Bengio, and A. Courville,Deep Learning, the MITPress, Nov. 2016.

[73] B. Mao, Z. M. Fadlullah, F. Tang, N. Kato, et al., "Routing orcomputing? The paradigm shift towards intelligent computer networkpacket transmission based on deep learning,"IEEE Trans. Comput.,vol. 66, no. 11, pp. 1946-1960, Nov 2017.

[74] Y. Lee, "Classification of node degree based on deep learning androuting method applied for virtual route assignment,"Ad Hoc Netw.,vol. 58, pp. 70-85, Apr. 2017.

[75] Q. You, Y. Li, M. S. Rahman, and Z. Chen ,“A near optimal routingscheme for multi-hop relay networks based on Viterbi algorithm,” inProc. 2012 IEEE International Conference on Communications (ICC2012), Ottawa, ON, Canada, Jun. 2012, pp. 1-6.

[76] G. Stampa, M. Arias, D. Sanchez-Charles, V. Muntes-Mulero, A.Cabellos, "A deep-reinforcement learning approach for software-defined networking routing optimization,"eprint arXiv:1709.07080,Sept. 2017.

[77] A. Varga, “The OMNeT++ discrete event simulation system,” inProc.the 15th European Simulation Multiconference (ESM 2001), Prague,the Czech Republic, Jun. 2001, pp. 1-7.

[78] A. Varga and R. Hornig, “An overview of the OMNeT++ simulationenvironment,” inProc. 1st international conference on simulationtools and techniques for communications, networks and systems &workshops (Simutools 2008), Marseille, France, Mar. 2008, pp. 1-10.

[79] A.Mestres,A.Rodriguez-Natal,J.Carner,P.Barlet-Ros,etal.,"Knowledge-definednetworkingtrainingdatasets,"UniversitatPolitecnicadeCatalunya, [Online]Available:http://knowledgedefinednetworking.org.

[80] A. Valadarsky, M. Schapira, D. Shahaf, and A. Tamar, "A machinelearning approach to routing,"eprint arXiv:1708.03074, Aug. 2017.

[81] J. Schulman, S. Levine, P. Moritz, M. I. Jordan, and P. Abbeel, “Trustregion policy optimization,” inProc. 32nd International Conference onMachine Learning (ICML 2015), Lille, France, Jul. 2015, pp. 1-9.

[82] Y. Duan, X. Chen, R. Houthooft, J. Schulman, and P. Abbeel, “Bench-marking deep reinforcement learning for continuous control,” inProc.33rd International Conference on Machine Learning (ICML 2016),New York, NY, USA, Apr. 2016, pp. 1-14.

[83] R. Atallah, C. Assi, M. Khabbaz, “Deep reinforcement learning-based scheduling for roadside communication networks,” inProc. 15thInternational Symposium on Modeling and Optimization in Mobile, AdHoc, and Wireless Networks (WiOpt 2017), Paris, France, May 2017,pp. 1-8.

[84] B. Sun, H. Feng, K. Chen, X. Zhu, "A deep learning framework ofquantized compressed sensing for wireless neural recording,"IEEEAccess, vol. 4, pp. 5169-5178, Sept. 2016.

[85] T. Tieleman and G. Hinton, "Lecture 6.5: rmsprop: Divide the gradientby a running average of its recent magnitude,"COURSERA: NeuralNetw. Mach. Learn.vol. 4, no. 2, pp. 26-31, Oct. 2012.

[86] S. O. Haykin,Neural Networks and Learning Machines, 3th Edition,Pearson Higher Ed, Nov. 2008.

[87] L. Bottou, “Large-scale machine learning with stochastic gradientdescent,” inProc. 19th International Conference on ComputationalStatistics (COMPSTAT 2010), Paris, France, Aug. 2010, pp. 177-187.

[88] J. Zhang, Y. Suo, S. Mitra, S. Chin, et al., "An efficient and compactcompressed sensing microsystem for implantable neural recordings,"IEEE Trans. Biomed. Circuits Syst., vol. 8, no. 4, pp. 485-496, Jan.2014.

[89] L. Jacques, D. K. Hammond, and J. M. Fadili, "Dequantizing com-pressed sensing: When oversampling and non-Gaussian constraintscombine,"IEEE Trans. Inf. Theory, vol. 57, no. 1, pp. 559-571, Dec.2010.

[90] Z. Yang, L. Xie, and C. Zhang, "Variational Bayesian algorithm forquantized compressed sensing,"IEEE Trans. Signal Process, vol. 61,no. 11, pp. 2815-2824, Jun. 2013.

[91] H. Mao, M. Alizadeh. I. Menache, and S. Kandula, “Resource manage-ment with deep reinforcement learning,” inProc. 15th ACM Workshopon Hot Topics in Networks (HotNets 2016), Atlanta, GA, USA, Nov.2016, pp. 50-56.

[92] M. Crotti, M. Dusi, F. Gringoli, and L. Salgarelli, "Traffic classificationthrough simple statistical fingerprinting,"ACM SIGCOMM ComputerCommunication Review, vol. 37, no. 1, pp. 5-16, Jan. 2007.

[93] X. Wang and D. J. Parish, “Optimised multi-stage TCP traffic classifierbased on packet size distributions,” inProc. Third International Con-ference on Communication Theory, Reliability, and Quality of Service(CTRQ 2010), Athens/Glyfada, Greece, Jun. 2010, pp. 98-103.

[94] R. Sun, B. Yang, L. Peng, Z. Chen, L. Zhang, and S. Jing, “Trafficclassification using probabilistic neural networks,” inProc. Sixth In-ternational Conference on Natural Computation (ICNC 2010), Yantai,China, Aug. 2010, pp. 1914-1919.

[95] H. Ting, W. Yong, T. Xiaoling, “Network traffic classification based onkernel self-organizing maps,” inProc. 2010 International Conferenceon Intelligent Computing and Integrated Systems (ICISS 2010), Guilin,China, Oct. 2010, pp. 310-314.

[96] A. H. Lashkari, G. D. Gil, M. S. I. Mamun, A. A. Ghorbani, “Charac-terization of encrypted and VPN traffic using time-related features,” inProc. 2nd International Conference on Information Systems Securityand Privacy (ICISSP 2016), Rome, Italy, Feb. 2016, pp. 407-414.

[97] Y. L. Gwon and H. T. Kung, “Inferring origin flow patterns in Wi-Fi with deep learning,” inProc. 11th International Conference onAutonomic Computing (ICAC 2014), Philadelphia, PA, USA, Jun. 2014,pp. 73-83.

[98] B. A. Olshausen and D. J. Field, "Emergence of simple-cell receptivefield properties by learning a sparse code for natural images,"Nature,vol. 381, no. 6583, pp. 607-609, Jun. 1996.

[99] Y. L. Boureau, J. Ponce, and Y. Lecun, “A theoretical analysis of featurepooling in visual recognition,” inProc. 27th International Conferenceon Machine Learning (ICML 2010), Haifa, Israel, Jun. 2010, pp. 1-8.

[100] L. Ljung,System Identification: Theory for the User, 2nd Edition,Prentice Hall, Jan. 1999.

[101] Z. Wang, "The applications of deep learning on traffic identification,"inProc. Black Hat USA 2015, Las Vegas, Aug, 2015, pp. 1-10.

[102] M. Lotfollahi, R. S. H. Zade, M. J. Siavoshani, and M. Saberian, "Deeppacket: a novel approach for encrypted traffic classification using deeplearning,"eprint arXiv:1709.02656, Sept. 2017.

[103] F. Chollet, et al., “Keras: Deep Learning for humans,” [Online] avail-able: https://github.com/fchollet/keras.

[104] B. Yamansavascilar, M. A. Guvensan, A. G. Yavuz, and M. E.Karsligil, "Application identification via network traffic classification,"inProc. 2017 International Conference on Computing, Networking andCommunications (ICNC 2017), Santa Clara, CA, USA, Jan. 2017, pp.843-848.

[105] T. P. Oliveira, J. S. Barbar, and A. S. Soares, "Computer network trafficprediction: a comparison between traditional and deep learning neuralnetworks,"Int. J. Big Data Intelligence, vol. 3, no. 1, pp. 28-37, Jan.2016.

[106] E. Hodo, X. Bellekens, A. Hamilton, C. Tachtatzis, and R. Atkinson,"Shallow and deep networks intrusion detection system: a taxonomyand survey,"eprint arXiv:1701.02145, Jan. 2017.

[107] Q. Niyaz, W. Sun, A. Y. Javaid, and M. Alam, “A deep learningapproach for network intrusion detection system,” inProc. 9th EAIInternational Conference on Bio-inspired Information and Communi-cations Technologies (BICT 2015), New York City, NY, USA, Dec.2015, pp. 21-26.

[108] R. Raina, A. Battle, H. Lee, B. Packer, and A. Y. Ng, “Self-taughtlearning: transfer learning from unlabeled data,” inProc. 24th Interna-tional Conference on Machine Learning (ICML 2007), Corvalis, OR,USA, Jun. 2007, pp. 759-766.

[109] M. Tavallaee, E. Bagheri, W. Lu, and A. A. Ghorbani, “A detailedanalysis of the KDD CUP 99 data set,” inProc. 2nd IEEE Symposiumon Computational Intelligence for Security and Defence Applications(CISDA 2009), Ottawa, ON, Canada, Jul. 2009, pp. 1-6.

[110] NSL-KDD dataset, [online] available: http://nsl.cs.unb.ca/nsl-kdd/.

[111] T. A. Tang, L. Mhamdi, D. McLernon, S. A. R. Zaidi, and M.Ghogho, “Deep learning approach for network intrusion detection insoftware defined networking,” inProc. 2016 International Conferenceon Wireless Networks and Mobile Communications (WINCOM 2016),Fez, Morocco, Oct. 2016, pp. 1-6.

[112] R. Salakhutdinov and G. Hinton, "deep Boltzmann machines,"Artif.Intell., vol. 5, no. 2, pp. 448-455, Jan. 2009.

[113] G.E. Hinton, "A practical guide to training restricted Boltzmannmachines,"Momentum, vol.9, no. 1, pp.1-21, Aug. 2010.

[114] U. Fiore, F. Palmieri, A. Castiglione, and A. D. Santis, "Networkanomaly detection with the restricted Boltzmann machine,"Neurocom-puting, vol. 122, pp. 13-23, Dec. 2013.

[115] N. Gao, L. Gao, Q. Gao, and H. Wang, “An intrusion detection modelbased on deep belief networks,” inProc. 2nd International Conferenceon Advanced Cloud and Big Data (CBD 2014), Huang Shan, China,Nov. 2014, pp. 247-252.

[116] M. Z. Alom, V. Bontupalli, and T. M. Taha, “Intrusion detection usingdeep belief networks,” inProc. National Aerospace and ElectronicsConference (NAECON 2015), Dayton, OH, USA, Jun. 2015, pp. 339-344.

[117] M-J. Kang and J-W. Kang, "Intrusion detection system using deepneural network for in-vehicle network security,"PLoS ONE, vol. 11,no. 6, pp. 1-17, Jun. 2016.

[118] M. Abadi, A. Agarwal, P. Barham, E. Brevdo, et al., "Tensorflow: large-scale machine learning on heterogeneous distributed systems,"eprintarXiv:1603.04467, Mar. 2016.

[119] Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, et al., “Caffe: Con-volutional architecture for fast feature embedding,” inProc. 22ndACM international conference on Multimedia (MM 2014), Orlando,FL, USA, Nov. 2014, pp. 675-678.

[120] R. Al-Rfou, G. Alain, A. Almahairi, C. Angermueller, et al., "Theano:A Python framework for fast computation of mathematical expres-sions,"eprint arXiv:1605.02688, May 2016.

[121] “WILL API,” [Online] available: https://scarsty.gitbooks.io/will/content/.

[122] T. Chen, M. Li, Y. Li, M. Lin, et al., “MXNet: A flexible and efficientmachine learning library for heterogeneous distributed systems,” inProc. NIPS Workshop on Machine Learning Systems (NIPS 2016),Barcelona, Spain, Dec. 2016, pp. 1-6.

[123] R. Collobert, K. Kavukcuoglu, and C. Farabet, “Torch7: A matlab-likeenvironment for machine learning,” inProc. BigLearn NIPS Workshop(NIPS 2011), Granada, Spain, Dec. 2011, pp. 1-6.

[124] “Comparison of deep learning software,” [Online] Available:https://en.wikipedia.org/wiki/Comparison_of_deep_learning_software.

更多内容请看：https://www.sunjackson.com