ABSTRACT

近年来深度学习迅猛在各个研究领域发展发展，新的模型结构不断涌现，且有层数逐渐加深的趋势。然而深度模型往往有数量过于庞大的待优化参数，通常需要耗费大量的时间和机器资源来进行优化，而且不能根据需求及输入的变化进行修改。在随机向量函数链接神经网络（RVFLNN）[1]-[3] 的基础上，C. L. Philip Chen[4] 提出了旨在为深度结构提供替代方法的宽度学习系统（BLS）。宽度学习系统自被提出以后便引起了众多研究人员的注意，本文将综述BLS和它的几种变体形式，以及它们在不同领域的几种具体应用。

1 PRELIMINARIES

宽度学习系统脱胎于随机向量函数链接神经网络（RVFLNN）[1]-[3]，其结构如下图所示。

在RVFLNN中，强化结点由输入结点x进行非线性变换得到，理论上来说，只要这样的非线性结点足够多，该网络就能有足够的非线性能力来模拟任何非线性函数。若将输入结点和强化结点视为神经网络的同一层（即A），则整个网络待确定的参数只有权重矩阵W

2 BLS

宽度学习系统[4] 在RVFLNN基础上做出了改进。首先，宽度学习可以利用别的模型提取到的特征来训练，即可以和别的机器学习算法灵活地结合。其次，宽度学习中加入了增量学习算法，它允许在网络结构中加入新的结点时，以很小的计算开销来更新网络权重。这一特性使BLS在面对大规模的数据时，相对于深度结构具有巨大的优势。BLS结构以及增量算法如图所示。

3 BLS的变体

1. L. Philip Chen在[5]中进一步证明了宽度学习系统对于通用函数的逼近能力，并且提出了标准宽度学习系统的几种变体形式，包括级联结构、递归结构，以及一种将卷积网络嵌入宽度学习系统的结构。本文的3.1-3.4是对这些变体的介绍。

考虑到深层结构可以提高模型的精确性，Zhulin Liu在[6]中提出了一种堆叠的宽度学习系统，文中将多个标准的BLS块进行堆叠，在堆叠层数动态调整的过程中提高了模型的性能。本文3.5介绍了这一模型。

Liang Zhang[7]等人在级联结构的基础上，将金字塔结构、dropout操作和密集结构融入其中，提出了一些新的BLS变体，包括CFBLS-Pyramid、CEBLS-Dropout、CFBLS-Dense、CEBLS-Dense.具体结构参见本文3.7

3.1 特征级联 [5]

特征级联（CFBLS）是将特征结点一个接一个地通过级联形式进行连接，如图3所示。仅最后的特征结点级联（LCFBLS）是指，特征结点依然采用一个接一个的级联得到，但仅将最后一个特征结点与强化结点连接，如图4(a)所示。

通常，特征结点的级联类似于循环系统的定义。而递归结构往往用于对有顺序的源数据进行建模，例如递归结构非常适合文本内容理解和处理输入中的时序信息。为了学习顺序信息，可以将特征结点的级联形式改为以下的递归形式。

3.2 强化级联 [5]

强化级联（CEBLS）结构将强化结点进行依次级联，如图5(a)-(b)所示。同样，强化结点的级联结构也可以改为相应的递归结构，如图5(c)。

3.3 特征-强化级联 [5]

特征-强化级联（CFEBLS）是一种特征结点和强化结点都采用顺序级联结构的BLS变体。

3.4 特征卷积级联 [5]

由于卷积神经网络在模式识别中表现出色，因此可以将卷积和池化操作嵌入宽度学习系统。特征卷积级联（CCFBLS）就是将特征结点替换为卷积结构进行顺序级联的一种BLS变体。

3.5 堆叠宽度学习系统 [6]

Stacked BLS将原始的BLS结构作为一个块（block），以每层计算残差的方式将多个BLS块层层堆叠，提高模型的精确度。在往上堆叠新块时，底部块的结构和权重是固定的，因此这种增量方法保持了原始BLS的有效性和高效性。

3.6 级联BLS的变体 [7]

CFBLS-Pyramid、CEBLS-Dropout、CFBLS-Dense、CEBLS-Dense分别为在特征结点中使用金字塔结构、在强化结点中使用dropout操作、在特征结点中采用密集结构以及在强化结点中采用密集结构。如下图所示。

4 BLS的应用

为了更充分地提取原始数据中的信息，Hailiang Ye[8] 采用了一种更为密集的级联宽度学习系统（命名为DCBLS），并通过实验将其应用于图像去噪领域。此外，作者还在[8]中提出了一种便于处理大规模数据的并行计算方法以及一种自适应确定正则化参数的方法。此模型具体结构参见本文4.1

在图像识别中，数据的几何信息通常能起到重要的作用。原始的BLS中，模型权重可以通过简单的伪逆运算得到，但是数据的几何结构信息无法被利用。为了克服这个一缺点，Junwei JIN [9]提出了图正则化宽度学习系统（GBLS），它将流形学习结合到BLS的优化过程中以限制输出权重。作者将GBLS应用于图像识别，实验证明，这一方法提高了宽度学习系统的分类能力。

Liang Zhang等人在[7]中尝试通过语义特征（SF）提取的方法将BLS应用于图像识别。他们把通过HOG和LBP方法提取出的图像语义特征作为BLS的输入，使用SF-BLS结构及其变体对图像进行分类实验。实验结果表明在诸多变体中，CEBLS-dense结构具有最出色的性能。

Shuang Feng[10] 将TS模糊系统和宽度学习结合，把每个特征结点替换为单独的TS模糊子系统，提出了一种可用于回归和分类的模糊宽度学习系统。实验结果表明该方法由于当前的其他模糊模型。文中所采用的结构参见本文4.2

4.1 DCBLS [8]

Deep Cascade BLS采取了更为密集结构进行级联，使对原始数据的信息提取更为充分，这种结构已经被实验证明可以在图像去噪领域取得不错的成效果。

4.2 Fuzzy BLS [10]

模糊BLS用一组TS模糊子系统代替BLS的特征节点，并且输入数据由它们各自处理。为了保留输入特性，每个模糊子系统产生的模糊规则的输出并未被立即汇总为一个值，而是全部被发送到增强层以进行进一步的非线性变换。将所有模糊子系统的去模糊化输出和增强层的输出组合在一起，获得最终的模型输出。

REFERENCE

[1]  Y .-H. Pao and Y . Takefuji, “Functional-link net computing: Theory,system architecture, and functionalities,”Computer, vol. 25, no. 5,pp. 76–79, May 1992.

[2]  Y .-H. Pao, G.-H. Park, and D. J. Sobajic, “Learning and generalization characteristics of the random vector functional-link net,” Neurocomputing, vol. 6, no. 2, pp. 163–180, 1994.

[3] B.Igelnik and Y.-H. Pao,”Stochastic choice of basis functions in adaptive function approximation and the functional-link net,” IEEE Trans. Neural Netw., vol. 6, no. 6, pp. 1320 –1329, Nov. 1995.

[4] Chen, C. L. Philip; Liu, Zhulin (2017). Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture. IEEE Transactions on Neural Networks and      Learning Systems, (), 1–15.

[5] C. L. P. Chen, Z. Liu and S. Feng, "Universal Approximation Capability of Broad Learning System and Its Structural Variations," in IEEE Transactions on Neural Networks and Learning Systems, vol. 30,        no. 4, pp. 1191-1204, April 2019

[6] Z. Liu, C. L. P. Chen, S. Feng, Q. Feng and T. Zhang, "Stacked Broad Learning System: From Incremental Flatted Structure to Deep Model," in IEEE Transactions on Systems, Man, and Cybernetics:            Systems, vol. 51, no. 1, pp. 209-222, Jan. 2021

[7] L. Zhang et al., "Analysis and Variants of Broad Learning System," in IEEE Transactions on Systems, Man, and Cybernetics: Systems, doi: 10.1109/TSMC.2020.2995205.

[8] H. Ye, H. Li and C. L. P. Chen, "Adaptive Deep Cascade Broad Learning System and Its Application in Image Denoising," in IEEE Transactions on Cybernetics

[9] Jin, J., Liu, Z. & Chen, C.L.P. Discriminative graph regularized broad learning system for image recognition. Sci. China Inf. Sci. 61, 112209 (2018).

[10] S. Feng and C. L. P. Chen, "Fuzzy Broad Learning System: A Novel Neuro-Fuzzy Model for Regression and Classification," in IEEE Transactions on Cybernetics, vol. 50, no. 2, pp. 414-424, Feb. 2020, doi: 10.1109/TCYB.2018.2857815.