论文翻译七：Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification

30天挑战翻译100篇论文

坚持不懈，努力改变，在翻译中学习，在学习中改变，在改变中成长…

Adversarial Transfer Learning for Deep Learning Based Automatic Modulation Classification

基于对抗学习的深度学习自动调制分类

Ke Bu , Yuan He , Xiaojun Jing , and Jindong Han

摘要—自动调制分类有助于许多重要的信号处理应用。最近，深度学习模型已在调制识别中采用，该模型优于基于手工特征的传统机器学习技术。但是，自动调制分类仍然面临根源的挑战。现有的学习方法仅适用于相同分布的数据。在实际情况下，数据分布随采样频率而变化，因此具有不同采样率的域已经形成。此外，对于具有充分意义的数据集，要充分利用具有良好结构域的模型，我们很难构造具有充分意义的数据集。在目标域中。为了应对这些挑战，我们提出了一种对抗传递学习架构（ATLA），将对抗训练和知识传递以统一的方式结合在一起。对抗训练在域之间执行非对称映射并减少域偏移。知识转移用于从源域中挖掘先验知识。实验结果表明，提出的ATLA大大提高了目标模型的性能，优于现有的参数传递方法。通过减少一半的训练数据，目标模型可实现监督学习的竞争性识别准确性。凭借十分之一的训练数据，提升的准确性高达17.3％。

关键词-专家迁移学习，域自适应，调制识别，采样频率。

自动调制分类（AMC）对广泛的应用非常重要，包括信号检测，频谱共享，软件定义的弹性光网络（EON）和认知无线电[1] – [4]。近几十年来，深度学习的进步导致了各个技术领域的发展，例如计算机视觉[5]，信息检索[6]和自然语言处理[7]，还促进了许多工作信号调制分类[8] – [12]。OShea等。 [8]研究了卷积神经网络（CNN）在复杂值双信号分类上的可行性，与基于专家特征的相对先进的传统方法（如K近邻（KNN），支持向量机（SVM），决策树（DTree）和深度神经网络）相比，效果很好网络（DNN）。渐进地，[9]中的工作在RadioML2016.10a数据集[13]上对CNN，残差网络，初始架构和卷积长短期深度神经网络（CLDNN）进行了比较，揭示了深度神经网络的性能不高。受网络深度的限制。与更严格的基准测试方法相比，基于深度学习的无线电信号分类[10]在一系列配置和信道损伤范围内可实现显着的性能提升。
值得注意的是，尽管深度学习模型具有出色的性能，但AMC仍然面临许多挑战。对于深度学习模型，通常假设数据分布是不变的，这是不现实的。根据任务的复杂性和设备配置，接收器捕获不同采样率的无线信号，从而在成本支出和系统性能之间进行权衡。在此过程中，数据分布会发生变化，因此现有的统计模型无法准确预测调制类型。此外，需要足够的数据来保证模型的有效性，而数据收集和注释的不便以及高昂的成本使我们无法针对所有可能的采样率构建大型数据集。
为了解决上述挑战，我们将先进的基于对抗的迁移学习引入AMC。转移学习放宽了训练数据必须独立且与测试数据相同分布（i.i.d.）的约束[14]。以前有一些与此主题相关的作品。考虑到空中（OTA）信号分类是一个传输问题，[10]冻结了在模拟无线损伤环境中训练的整个网络，除了最后几个完全连接的层。然后，使用OTA示例更新可训练的参数。为了改善模型的通用性，在不考虑信噪比的情况下，利用权重共享来初始化网络[11]。 Q.Wangetal。[12]采用参数传递方法来解决跨各种采样率的传递性问题。现有的用于调制识别的转移学习方法仅限于参数转移方法，并限于较小的分布差异。通过将生成对抗网络（GAN）集成到迁移学习中，提出了基于对抗的迁移学习。 [15]提出了一种对抗性监督管理方法的通用框架，并利用基于歧视性的模型，不分权重和标准GAN损失来设计对抗性区分域适应（ADDA）。受ADDA [15]的启发，我们提出了一种基于深度学习的自动调制分类的对抗迁移学习架构（ATLA）。
总之，本文的主要贡献如下：

我们提出了一种对抗式迁移学习体系结构（ATLA），以在数据不足的情况下显着提高基于深度学习的自动调制分类的性能。该模型利用对抗性训练来减少数据分布之间的差异并实现迁移学习。
提出的ATLA在提升迁移能力和扩展分布差异容忍度方面优于现有的参数传递方法。
除了文章中提到的采样率，所提出的方法还可以在各种缺陷（频率偏移等）下工作，这体现了一般性。

2. 问题陈述

假定无线通信系统由发射机，信道和接收机组成。接收信号x（n）可以表示为

其中s（n）表示初始基带信号，调制功能函数F转换基带信号传输信号，然后将传输信号发送到通信信道h（n），并施加加性高斯白噪声w（n）。 N代表接收机的采样率。通过x（n）区分F是调制识别所需要的。
在转移学习中，源领域S指现有知识，而目标领域T则需要学习。在这文章中，我们考虑了接收机具有采样频率N s和N t的不同数据域S和T的情况。我们建立了一个注释充分的源数据集D s，其中包含足够的信号样本X s和标签Y s。训练源模型M s来预测源数据分布ps（x，y; N s）。对于具有N t的信号，我们假设样本X t和标签Y t是从目标数据分布p t（x，y; N t）中提取的。目标数据集D t中的数据不足会导致模型M t的分类能力较弱。我们最好利用知识来对目标域T建模，从而提高M t的分类性能。总体学习目标可以表述为

其中H表示交叉熵用于测量两个概率分布p和q之间的差异，H(p,q)=−∑ip(i)log(q(i))H(p,q) = -\sum _i p(i)log(q(i))H(p,q)=−∑ip(i)log(q(i))

3.设定的方法

ATLA执行对抗性转移学习，以最大程度地减少S和T之间的域转移和分布差异，

其中|·|D表示域距离反映在鉴别器D的域判断能力中，f表示非对称映射f：pt→psf：p_t→p_sf：pt→ps。我们的主要假设是，映射f可以帮助Mt模拟Msf可以帮助M_ t模拟M_ sf可以帮助Mt模拟Ms的分类特性并显着提高分类能力。

- ** A. ATLA的框架**
  图1说明了建议的ATLA框架。我们独立设计了深度学习模型Ms和Mt，而不会互相干扰。[9]指出，残差网络和初始模块获得的损失和准确性与超参数优化的CNN相似。卷积神经网络的性能不会随着网络深度和复杂性的增加而提高。考虑到训练难度，我们选择简单但同样有效的CNN作为基本模型。为每个域搜索更适用的模型结构。Ms遵循[9]中提出的CNN。Mt将第一个致密层的尺寸从256减少到128。在转移学习期间，我们冻结Ms并在Mt和鉴别器D之间进行对抗训练。我们指定softmax层的输出为Ms或Mt作为D的输入。D包含两个具有500个神经元编号的隐藏层，其后是LeakyReLu激活功能。输出层会反馈softmax表示是否属于目标域的概率值。D的目的是区分输入向量的域标签，而Mt试图混淆D并增强分类性能。图1说明了建议的ATLA框架。我们独立设计了深度学习模型M_s和M_t，而不会互相干扰。 [9]指出，残差网络和初始模块获得的损失和准确性与超参数优化的CNN相似。卷积神经网络的性能不会随着网络深度和复杂性的增加而提高。考虑到训练难度，我们选择简单但同样有效的CNN作为基本模型。为每个域搜索更适用的模型结构。 M_s遵循[9]中提出的CNN。 M_ t将第一个致密层的尺寸从256减少到128。在转移学习期间，我们冻结M_ s并在M_ t和鉴别器D之间进行对抗训练。我们指定softmax层的输出为M_ s或M _ t作为D的输入。 D包含两个具有500个神经元编号的隐藏层，其后是LeakyReLu激活功能。输出层会反馈softmax表示是否属于目标域的概率值。 D的目的是区分输入向量的域标签，而M_ t试图混淆D并增强分类性能。图1说明了建议的ATLA框架。我们独立设计了深度学习模型Ms和Mt，而不会互相干扰。[9]指出，残差网络和初始模块获得的损失和准确性与超参数优化的CNN相似。卷积神经网络的性能不会随着网络深度和复杂性的增加而提高。考虑到训练难度，我们选择简单但同样有效的CNN作为基本模型。为每个域搜索更适用的模型结构。Ms遵循[9]中提出的CNN。Mt将第一个致密层的尺寸从256减少到128。在转移学习期间，我们冻结Ms并在Mt和鉴别器D之间进行对抗训练。我们指定softmax层的输出为Ms或Mt作为D的输入。D包含两个具有500个神经元编号的隐藏层，其后是LeakyReLu激活功能。输出层会反馈softmax表示是否属于目标域的概率值。D的目的是区分输入向量的域标签，而Mt试图混淆D并增强分类性能。
- B.损失函数
  在每次迭代中，我们为D进行两个训练时期。 D的损耗是GAN中使用的标准选择，
  
  目的是最大程度地减少域标签区分的错误。
  以下是Mt的两个训练时期。为了防止模式崩溃并关键地保持Mt的类别区分能力，我们将GAN损失LGAN和分类损失LC的加权和指定为目标模型LT的损失，以下是M _t的两个训练时期。为了防止模式崩溃并关键地保持M_ t的类别区分能力，我们将GAN损失L_{ GAN}和分类损失L_{ C}的加权和指定为目标模型L_ T的损失，以下是Mt的两个训练时期。为了防止模式崩溃并关键地保持Mt的类别区分能力，我们将GAN损失LGAN和分类损失LC的加权和指定为目标模型LT的损失，
  
  其中α是GAN损失的权重系数，也是唯一的超参数。 LGAN试图混淆区分符，而LC与ATLA的目的一致。在此基础上，我们利用Adam优化方法和反向传播算法来更新Mt和D的权重。L_{ GAN}试图混淆区分符，而L_ C与ATLA的目的一致。在此基础上，我们利用Adam优化方法和反向传播算法来更新M_ t和D的权重。LGAN试图混淆区分符，而LC与ATLA的目的一致。在此基础上，我们利用Adam优化方法和反向传播算法来更新Mt和D的权重。

3.实验

所有实验都在单个NVIDIA Corporation GPU上使用TensorFlow后端。用乘累加运算（MACC）的数量来计算，ATLA的计算复杂度比CNN和DNN略大，这在考虑性能提升方面已经被人们接受。我们获得所有信噪比下的分类精度，并将top-1精度作为比较技术和调整网络的标准。

- A.数据集
  我们将RadioML2016.10a数据集[13]作为评估调制识别方法的基准数据集。它包含11种调制格式：8PSK，AM-DSB，AMSSB，BPSK，CPFSK，GFSK，PAM4，QAM16，QAM64，QPSK，WBFM（从−20dB至+ 18dBE s / N o，2dBapart）。每个信号样本的大小为2×128，包括相位和正交（IQ）组件。 D s在调制类型和SNR的每种组合下随机收集一半的数据，总计110000个样本。剩下的样本用于通过下采样两倍来构造T，信号大小为2×64。我们选择一定比例的T作为DT，将差集T-D t作为测试集，以验证可靠性。传输性能为[12]。
- B.转移学习成绩分析

性能比较如图2和表I所示。
在图2中，没有转移表示M t仅在D t上训练而没有知识转移。参数传递[12]用从M s传递的参数初始化卷积层，而密集层是随机初始化的。监督学习采用T中的全部数据进行训练。实验结果表明，在没有转移学习的情况下，由于数据不足，无法充分利用深度学习模型的功能。当训练数据的百分比不大于五分之一时，参数传递有效，但劣于所提出的ATLA方法。特别是，当训练测试比例为“ 10–90”时，ATLA的提升准确性高达17.3％。随着训练数据数量的逐渐增加，参数传递甚至会抑制模型优化，这体现在分类精度降低方面。取而代之的是，ATLA保持有效且明显地提高性能的能力，这与仅使用一半数据进行监督学习具有相似的效果。参数传递在域移位的容忍度方面较弱，而ATLA所做的正是根据源特征表示重构目标域，从而减少了差异并增强了域之间的通用性。如表I所示，ATLA协助CNN产生比传统方法[8]，[16]更高的准确性，并使CNN减少对训练数据的依赖性，同时保持其优势。

详细地，图3示出了使用ATLA跨所有SNR和训练测试比例来提高分类准确性。
分析表明，ATLA主要在中高信噪比条件下起作用，其中M s实现了更具代表性的特征提取。随着训练集比例的增加，M t的预测能力更可取，因此ATLA的提升程度相应降低。此外，数据的重要性仍得到验证。无论是否引入ATLA，训练集的比例越高，分类精度越好。

为了进一步研究限制分类精度的因素，当训练数据所占比例为一半且SNR为+18 dB时，使用ATLA的M t混淆矩阵如图4所示。
大多数QAM16被误认为QAM64，而WBFM与AM-DSB混淆了。为了解决此问题，我们需要增加示例信息并完善同步。

C.超参数和深度学习模型的影响
有两个主要的影响因素。一个是超参数α，另一个是深度学习模型的结构。为了全面描述α值与性能之间的对应关系，我们还研究了平均分类精度与α值之间的关系，如表II所示。当α≤0.5时，平均精度和top-1精度保持较高水平。随着α的增加，ATLA的性能变差。出乎意料的是，即使没有L GAN（即α= 0），ATLA仍然具有知识转移的能力。这个结果表明，ATLA的主要关注点是M t的分类能力，它从传统的GAN中挑选出ATLA。我们还对L T = L GAN进行了试验，这会导致模式崩溃并将所有信号归为一种调制模式。最后，考虑到平均分类精度和top-1分类精度，在其他实验中我们选择0.5作为α值。
我们在监督学习和ATLA中提供了top-1分类准确性与深度学习模型的比较，如表III所示，以探讨深度学习模型选择对ATLA的影响。左表中的比较表明，模型选择与数据分布有关。在右侧表格中，我们发现与M s相比，M t的选择更具影响力。因此，我们根据源数据的性能选择M s，并通过ATLA的性能调整M t的结构。

5.结束语

在本文中，我们提出了一种基于深度学习的调制分类的对抗性转移学习架构（ATLA）。在具有不同采样率的数据域中，通过采用对抗训练和知识转移，我们的体系结构充分利用了具有足够数据的域信息，并提高了具有不足数据的目标模型的分类性能。实验分析表明，该方法在交叉采样率知识传递方面具有良好的性能，在传递能力和数据集偏差容忍度方面优于现有的参数传递方法。

R EFERENCES
[1] O.A.Dobre,A.Abdi,Y.Bar-Ness,andW.Su,“Surveyofautomaticmodu-
lationclassificationtechniques:Classicalapproachesandnewtrends,”IET
Commun., vol. 1, no. 2, pp. 137–156, Apr. 2007.
[2] M.MareyandO.A.Dobre,“Blindmodulationclassificationalgorithmfor
single and multiple-antenna systems over frequency-selective channels,”
IEEE Signal Process. Lett., vol. 21, no. 9, pp. 1098–1102, Sep. 2014.
[3] X.Lin,O.A.Dobre,T.M.Ngatched,Y.A.Eldemerdash,andC.Li,“Joint
modulationclassificationandOSNRestimationenabledbysupportvector
machine,” IEEE Photon. Technol. Lett., vol. 30, no. 24, pp. 2127–2130,
Dec. 2018.
[4] L. Han, F. Gao, Z. Li, and O. A. Dobre, “Low complexity automatic
modulation classification based on order-statistics,” IEEE Trans. Wireless
Commun., vol. 16, no. 1, pp. 400–411, Sep. 2016.
[5] A.Voulodimos,N.Doulamis,A.Doulamis,andE.Protopapadakis,“Deep
learning for computer vision: A brief review,” Comput. Intell. Neurosci.,
vol. 2018, 2018, Art. no. 7068349.
[6] H. Li and Z. Lu, “Deep learning for information retrieval,” in Proc. 39th
Int. ACM SIGIR Conf. Res. Develop. Inf. Retrieval, 2016, pp. 1203–1206.
[7] T. Young, D. Hazarika, S. Poria, and E. Cambria, “Recent trends in deep
learning based natural language processing,” IEEE Comput. Intell. Mag.,
vol. 13, no. 3, pp. 55–75, Jul. 2018.
[8] T.J.O’Shea,J.Corgan,andT.C.Clancy,“Convolutionalradiomodulation
recognition networks,” in Proc. Int. Conf. Eng. Appl. Neural Netw., 2016,
pp. 213–226.
[9] N. E. West and T. O’Shea, “Deep architectures for modulation recogni-
tion,” in Proc. IEEE Int. Symp. Dyn. Spectr. Access Netw., Mar. 2017,
pp. 1–6.
[10] T. J. O’Shea, T. Roy, and T. C. Clancy, “Over-the-air deep learning based
radio signal classification,” IEEE J. Sel. Topics Signal Process., vol. 12,
no. 1, pp. 168–179, Jan. 2018.
[11] Y. Xu, D. Li, Z. Wang, Q. Guo, and W. Xiang, “A deep learning method
based on convolutional neural network for automatic modulation classifi-
cation of wireless signals,” Wireless Netw., vol. 25, no. 7, pp. 3735–3746,
Feb. 2019.
[12] Q. Wang, P. Du, J. Yang, G. Wang, J. Lei, and C. Hou, “Transferred deep
learning based waveform recognition for cognitive passive radar,” Signal
Process., vol. 155, pp. 259–267, Feb. 2019.
[13] T.J.O’sheaandN.West,“Radiomachinelearningdatasetgenerationwith
GNU radio,” in Proc. GNU Radio Conf., vol. 1, no. 1, Sep. 2016.
[14] S.J.PanandQ.Yang,“Asurveyontransferlearning,”IEEETrans.Knowl.
Data Eng., vol. 22, no. 10, pp. 1345–1359, Oct. 2009.
[15] E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, “Adversarial discrimi-
native domain adaptation,” in Proc. IEEE Conf. Comput. Vision Pattern
Recognit., 2017, pp. 7167–7176.
[16] A. Punchihewa, Q. Zhang, O. A. Dobre, C. Spooner, S. Rajan, and
R. Inkol, “On the cyclostationarity of OFDM and single carrier linearly
digitallymodulatedsignalsintimedispersivechannels:Theoreticaldevel-
opments and application,” IEEE Trans. Wireless Commun., vol. 9, no. 8,
pp. 2588–2599, Aug. 2010.