童文、李烨：6G的9大挑战

参考连接
童文、李烨：6G的9大挑战
域知识
sigmoid函数

摘要
人工智能（AI）中的机器学习（ML）早无线通信中的应用，文章分析AI/ML和无线通信的跨学科领域需要解决的问题。
人工智能计算、分布式神经网络和学习以及支持机器学习的语义通信。

引言
1.概念辨析
(1) 人工智能与无线网络
面向通信网络的人工智能（AI 4 Net）：5G 和 5.5G
面向人工智能的通信网络（Net 4 AI）：6G以及未来的无线网络，通信网络将传输和收集机器学习所需的海量数据。
2.人工智能现阶段的需要
目前人工智能的成功普及都需要无穷无尽的大数据，
暴力计算和大数据这两种方式都不可持续。
3.针对领域
无线通信的深度神经网络、分布式深度学习和分布式神经网络。

(一)面向无线通信的深度神经网络的挑战

1. 深度学习的计算危机

计算能力的提高伴随着越来越多的能量消耗，计算能力的增长难以持续。

2. 深度学习中的梯度消失

深度学习中的反向传播中梯度迭代会影响无线传输的延迟，对端到端通信很重要。
之前的解决方法

sigmoid 函数饱和使用Leaky ReLU来代替
加强梯度和权重分布的稳定性
使用残差卷积网络，针对神经网络太深的问题
批量归一化，稳定神经网络参数的均值和方差
DropOut, 在训练过程中忽略一些单元/神经元减轻过拟合
递归神经网络中的梯度不稳定，所以长短时记忆（LSTM）被广泛使用
生成对抗（GAN）中的Jensen-Shannon三度导致梯度消失，可以通过WassersteinGAN来解决
使用单步或迭代算法，来解决DL中迭代梯度下降的问题

3. 深度神经网络的内存容量

神经网络的记忆容量越大，提高通信效率的潜力就越大，
神经元的记忆容量
研究问题：内存容量与计算复杂度之间的关系

4. 深度学习对大数据的依赖

目的：高效快速地训练神经网络；
大内存容量的神经网络具有大量的参数；
相关衡量指标：给定通信应用程序所需要的最小数据量。

5. 动态、增生（Accretionary）和元学习

真实通信场景：尤其是移动通信场景总是不断变化的
元学习：学会学习

（二）分布式神经网络和分布式学习

数字信息的增长对服务器的能力提出了要求，
存储需求量大、计算复杂度高、能耗要求高、隐私问题；

6.无线数据辅助集体学习

集体学习：指多个无线服务器共同手机数据并训练机器学习模型。
集体学习的架构和性能取决于人工智能本身和通信
需要解决的问题：将计算（训练模型）和通信（数据/参数传输）分开
需要研究的问题
①如何集体学习多个小而相同的神经网络？
②如何将一个大网络分割成多个小网络？
③网络的规模和数量对学校效率和优化的影响

7.无线通信使能联邦学习

联邦学习中，多个客户端/终端联合训练/学习相同的模型，
多个终端之间只有参数狡猾，而不是像集体学习中那样对数据、任务和神经网络进行分割
终端和边缘神经网络之间的信息交换依赖于无线通信，
神经网络和中心网络之间也是如此。
过去的研究
通信系统：最大化数据传输率和最小化误码率
人工智能：识别精度和再现数据的质量

（三）语义通信

8.语义通信的数学基础

香农信息论中的熵和容量是基于统计概率定义的，可能不适合语义通信

9.语义通信系统的结构

关键问题：语义通信中的信息恢复还是直接语义恢复
指标：句子的相似度