AdaNet: Adaptive Structural Learning of Artificial Neural Networks

tf的轻量级框架AdaNet，该框架可以使用少量专家干预来自动学习高质量模型。Adanet在automl的基础上构建，快速灵活同时能够提供学习保证。重要的是Adanet提供通用框架，不仅能够用于学习神经网络架构，还能学习集成构架以获得更好的模型。

能够自动搜索神经架构，学习将最好的神经架构集成起来构架高质量的模型。

构建神经网络集成存在多个挑战：最佳子网络架构是什么？

重复使用同样的架构好，还是鼓励差异化好？虽然具备更多参数的复杂子网络在训练集上表现更好，但也因其极大的复杂性他们难以泛化到未见到的数据上。

不同的是Adanet的方法是优化一个目标函数，在神经网络集成在训练集上的表现与泛化能力之间进行权衡。直观上，即仅在候选子网络改进网络集成训练损失的程度超过其对泛化能力的影响时，选择该候选子网络：

集成网络的泛化误差受训练误差和复杂度的约束。
通过优化这一目标函数，能够直接最小化这一约束。

1. Abstract：

2. Introduction:

为了训练神经网络，需要指定具有多个层和单元的典型大型网络架构的参数，然后解决困难的非凸优化问题。从优化的角度来看，不能保证以这种方式获得的模型的最优性，并且通常需要实现特定方法来导出相干模型。

在本文中，我们试图解决其中一些问题。特别是，我们提供了一个监督学习场景的理论分析，其中网络架构和参数是同时学习的。据我们所知，我们的结果是神经网络结构学习问题的第一个泛化界限。这些一般保证可以指导在这种情况下设计各种不同的学习算法。我们深入描述了两种直接受益于我们开发的理论的算法。

3. Network architecture

4. Learning problem

5. Generalization bounds

Generalization bounds for ensemble methods can be used to analyze learning with function.

6. Algorithm

ADANET 动态调整网络结构，平衡模型复杂度使用经验风险最小化。

6.1 Objective funxtion

The optimization problem consiting of minimizing the objective function F is defined over a very large space of base function.

6.2 Description

Informal description of adanet

Let is B > 1 be a fixed parameter determining the number of units per layer of a candidate subnetwork.

At iteration t,the algorithm selects one of the following two options:

Augmenting the current neural network with a subnetwork with the same dapth as that of the current network
Augmenting the current neural network with a deeper subnetwork.

The option selected is the one leading to the best reduction of the current value of the objective function, which depends both on the empirical error and the complexity of the subnetwork added,which is penalized differently in these two options.

An important aspect of our algorithm is that the units of a subnetwork learned at a previus iteration can serve as input to deeper subnetwork added later.Thus,the deeper subnetworks added later can take advantage of the embeddings that were learned at the previous iterations.

Boosting-style 优化

注意，一般来说，在无限维空间中或甚至在有限但较大的集合（例如某些大深度的所有决策树的集合）中搜索最佳下降坐标可能是难以处理的，并且通常采用启发式方法。返回δ-最佳坐标的搜索（弱学习算法）。例如，在使用树木进行增强的情况下，根据某种特定的启发式算法，常常会生长tree

我们通过观察在我们对ADANET的描述中得出结论，我们已经为所有迭代修复了B，并且在每一步中只考虑了两个候选子网。我们的方法很容易扩展到任意数量的候选子网（例如不同深度l）以及每层B的不同数量的单元。此外，在候选者中选择最佳子网是容易并行化的，允许有效和有效地搜索最佳下降方向。

其实automl核心变成了一个空间搜索问题，如何找出组件的有效组合变成了问题的方向。

AdaNet: Adaptive Structural Learning of Artificial Neural Networks相关推荐

Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings
摘要:在本文中,我们提出了一个端到端的图学习框架,即迭代深度图学习(IDGL),用于联合和迭代地学习图结构和图嵌入.IDGL的关键理论是基于更好的节点嵌入来学习更好的图结构,反之亦然(即基于更好的图结 ...
机器学习之Artificial Neural Networks
人类通过模仿自然界中的生物,已经发明了很多东西,比如飞机,就是模仿鸟翼,但最终,这些东西会和原来的东西有些许差异,artificial neural networks (ANNs)就是模仿动物大脑的神 ...
目标跟踪算法五：MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
目标跟踪算法五:MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking 原文:https://zh ...
[译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)...
译自:http://sebastianruder.com/multi-task/ 1. 前言在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我 ...
【论文阅读】Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis
Multisource Transfer Learning With Convolutional Neural Networks for Lung Pattern Analysis main idea ...
小样本论文笔记5：Model Based - [6] One-shot learning with memory-augmented neural networks.
小样本论文笔记5:Model Based - [6] One-shot learning with memory-augmented neural networks 文章目录小样本论文笔记5:Mod ...
论文阅读ICLR2020《ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS》
论文阅读ICLR2020<ADAPTIVE STRUCTURAL FINGERPRINTS FOR GRAPH ATTENTION NETWORKS> 摘要确定节点相似性时图的结构 Ad ...
综述翻译：多任务学习-An Overview of Multi-Task Learning in Deep Neural Networks
An Overview of Multi-Task Learning in Deep Neural Networks 文章目录 An Overview of Multi-Task Learning i ...
DAG-GNN: DAG Structure Learning with Graph Neural Networks
文章目录概主要内容代码 Yu Y., Chen J., Gao T. and Yu M. DAG-GNN: DAG structure learning with graph neural ne ...

AdaNet: Adaptive Structural Learning of Artificial Neural Networks

AdaNet: Adaptive Structural Learning of Artificial Neural Networks相关推荐

最新文章

热门文章