最近组会汇报了这篇文章，简单把思想梳理下来了，对了搜索深度森林的时候可能会看到Deep Forest: Towards an Alternative to Deep Neural Networks，这两篇文章的内容基本上是一致的，只在叙述方面有一些很小的不同。

下面是我做的ppt里的内容：参考文章：http://t.csdn.cn/iSKfj

主要内容

深度学习模型主要建立在神经网络上，即可以通过反向传播训练的多层参数化可微分非线性模块。探索不可微模块构建深度模型的可能性，提出了深度学习模型--gcforest(multi-Grained Cascade Forest)

特点：

（1）超参数少

（2）模型的复杂度可以通过与数据相关的方式自动确定

（3）无需使用反向传播就可以实现深度模型

提出疑问：

（1）深度模型=DNN？深度模型必须用可微模块构建？

（2）是否有可能训练出不需要反向传播的深度模型？

（3）是否有可能使深度模型赢得任务，如随机森林？

启发1：集成学习

为了构建一个良好的集成模型，个体的学习应该是准确的和多样化的。

提高模型多样性的操作：

（1）数据样本：从不同个体中生成不同的数据样本

（2）输入特征：不同特征选取生成树的模型是不一样的

（3）学习参数不同

（4）输出表示：对不同的个体使用不同的输出表示。

启发2：DNN

深度模型的优势: 逐层处理（图1）模型内特征转换巨大的模型复杂度

不足之处: 超参数多需要大量训练数据训练之前必须确定网络架构

作者认为逐层处理是DNN成功的关键，如图1所示，随着网络层次的深入，更高层次的抽象特征也会逐渐出现。

级联森林结构

采用不同种类的树提高模型的多样性

图中的级联森林每一层包括两个随机森林（黑色）和两个极端随机森林（蓝色），每个森林包含500颗树。

两种森林的主要区别：

样本空间不同——随机特征子空间/全部样本数据

分裂节点方法不同——最小的基尼指数/随机选择一个

随机森林与极端随机森林：http://t.csdn.cn/c5BZw

级联森林估计的类分布形成一个类向量，然后与原始特征向量连接，输入到下一层。

假设有三个类;四个森林中的每一个都将产生一个3D类向量;因此，下一个关卡将获得12个(= 3 × 4) 增强特征。

这里，我理解的是这个类分布向量形成图展示的是级联森林中输入特征向量进入其中一个森林的过程，所以上图右边生成一个三维的向量。

为了降低过拟合的风险，每个森林产生的类向量通过k折交叉验证产生。

每个实例将被用作训练数据k−1次，然后对产生的类向量进行平均得到最终的类向量，作为级联下一级的增强特征。

在扩展了一个新的级联级别后，可以在验证集上估计整个级联的性能，如果没有显著的性能增益，训练过程将终止；因此，级联级别的数量可以自动确定。即gcForest在适当的时候终止训练自适应地决定模型的复杂度。这使得它适用于不同规模的训练数据，不局限于大规模的训练数据。

多粒度扫描

滑动窗口用于扫描原始特征

将以上两个步骤连接起来就是gcforest的流程图啦

下图中,假设有 3 个类,并且分别使用 100 维 200 维 300 维的窗口在原始 400 维的特征上进行滑动

级联的级联：每个级联由多个级别组成，每个级别对应一个扫描粒度。

超参数和默认设置

黑体字表示影响较大的超参数，"?"表示需要根据不同任务进行调节。

表一表明gcforest所需超参数更少，结构更加简单。

性能

图6 显示当级联级别增加时，gcforest的性能趋势。

图8表示更大的模型往往能提供更好的性能。

实验结果

简单放两个实验，文章中有很多。

关于代码

代码我还没有跑好，不过已经下载了，看到一篇对代码构成讲解很详细的文章。

链接放这啦：http://t.csdn.cn/lo3jX

等我调好了再来。

论文阅读：Deep forest/深度森林/gcForest相关推荐

年龄论文阅读——Deep Label Distribution Learning With Label Ambiguity
论文阅读--Deep Label Distribution Learning With Label Ambiguity 版权声明:本文为博主原创文章,未经博主允许不得转载.https://blog.c ...
[论文阅读]阿里DIN深度兴趣网络之总体解读
[论文阅读]阿里DIN深度兴趣网络之总体解读文章目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词 ...
[论文阅读笔记52]深度学习实体关系抽取研究综述
来源:软件学报 2019 1.摘要: 围绕有监督和远程监督两个领域,系统总结了近几年来中外学者基于深度学习的实体关系抽取研究进展,并对未来可能的研究方向进行了探讨和展望. 2.经典的实体关系抽取方法 ...
论文阅读--Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness
UCSNet(CVPR2020) 论文阅读 UCSNet(CVPR2020) 1. MVSNet 2. UCSNet细节 a. Cascade module b. Plane sweep volume ...
论文阅读_基于深度学习的异常检测综述
英文题目:Deep Learning for Anomaly Detection: A Review 中文题目:基于深度学习的异常检测综述论文地址:https://arxiv.org/pdf/200 ...
[论文阅读] Deep Transformers For Fast Small Intestine Grounding In Capsule Endoscope Video
论文地址:https://doi.org/10.1109/ISBI48211.2021.9433921 发表于:ISBI 21 Abstract 胶囊内窥镜是一种用于检查和诊断难治性胃肠道疾病的进化技 ...
[HSI论文阅读] | Deep Feature Extraction and Classification of Hyperspectral Images Based on CNNs
写在前面论文: Y. Chen, H. Jiang, C. Li, X. Jia and P. Ghamisi, "Deep Feature Extraction and Classifi ...
论文阅读：基于深度学习的肺癌放射基因组学图像生物标记和基因表达数据关联框架
Topic: Image Bio-markers and Gene Expression Data Correlation Framework for Lung Cancer Radio-genomi ...
论文阅读03：深度文本匹配综述
公众号:数据挖掘与机器学习笔记 1.文本匹配概要文本匹配在信息检索.自动问答.机器翻译.对话系统.复述问题等自然语言处理任务上应用广泛.．这些自然语言处理的任务都可以在一定程度上抽象成文本匹配问题, ...
论文阅读记录-基于深度神经网络的nilm系统家电识别
记录一下关于非侵入负荷分解相关的论文文献 1.原文 <HOME APPLIANCE IDENTIFICATION FOR NILM SYSTEMS BASED ON DEEP NEURAL NE ...

论文阅读：Deep forest/深度森林/gcForest