神经网络论文Enhancing deep neural networks via multiple kernel learning

Enhancing deep neural networks via multiple kernel learning

发表于 pattern recognition 2020
代码：https://github.com/IvanoLauriola/MKLpy
doi : 10.1016/j.patcog.2020.107194
另搭配 Sci-Hub 食用更佳
Sci-Hub 实时更新 : https://tool.yovisun.com/scihub/
公益科研通文献求助：https://www.ablesci.com/

Highlights:
•We introduce KerNET, which combines Deep Neural Networks and Multiple Kernel learning;
•The framework optimally aggregates the hidden representations of a Deep Neural Network.
•KerNET enables to boost the predictive accuracy of individual Deep Neural Networks.
•KerNET allows to relieve the overfitting problem in deeper architectures.

多核学习：
存在一个函数 φ：X→K，它将数据从输入空间X映射到内核空间K，从而 k（x，z）= {φ（x），φ（z）} ，其中 x，z∈X。

处理内核方法时，最重要的步骤是选择内核函数。通常，使用验证过程从一组预定义函数中为给定任务选择最合适的内核。最近提出了几种直接从数据中学习核函数的方法。流行的内核学习范例是多内核学习（MKL），其目的是将内核作为基本（或弱）内核的原则组合来学习内核。该文已经考虑了基本核的凸组合，即权重向量具有固定1范数（fixed 1-norm）的线性非负组合，即等式1。

其中 k r 是基于第 r 个映射 φr 的核函数，μ 是算法学习的权重向量。

深度神经网络依赖于非线性映射的堆叠序列，该序列提供了越来越复杂的输入数据表示。这种模型执行的计算可以用非线性函数 φnet：X→Y 来描述，该函数将输入数据从输入空间 X 映射到输出空间 Y。在一般深度前馈神经网络FFNN的情况下，该函数可以将 φnet 定义为基本映射函数的组成：

其中ψ1将输入映射到第一个隐藏层，每个后续ψr对从隐藏层 r − 1 到隐藏层 r 进行非线性变换，即：ψr（x）= g（W r x + b），其中 W r 是权重矩阵，b 是偏差矢量，g 是非线性函数。该概念可以轻松地扩展到更复杂的层类型，例如卷积层，其中矩阵乘法由卷积运算符代替。最后，ψout 将表示形式从最高层映射到输出。符号 l 表示架构中的隐藏层数。(普通卷积操作

设 φnet 为 ψ1，… ，ψl 的FFNN基本映射。基于等式2中描述的网络定义。可将 x 在隐藏层 r 的隐藏表示定义为前 r 个基本映射函数的组成，即：

or

φ0（x）= x 表示输入。图1上部的箭头指示由神经体系结构中的连续隐藏层实现的基本映射功能的操作，即 ψ1，…，ψl，其后是输出映射 ψout。这样的映射函数由权重矩阵 W 来参数化。通过基本映射的连续应用执行的计算确定了隐藏层的内部神经表示的发展，如图1下部所示，即 φ1，，φl 以及初始输入表示 φ0。

图1：神经网络的体系结构描述为将输入与输出层相关联的非线性函数的组合。 φr是第r个隐藏层的内部表示，它是通过非线性变换ψ1，…，ψr的堆叠序列形成的。 W是定义转换的权重矩阵。

在KerNET框架中，中间表示 φr 通过多核学习（MKL）组合。

通常，深层前馈神经网络（FFNN）仅通过使用架构的最后一个隐藏层中计算出的表示（即 φl（x））来执行分类。但是，在输出计算阶段先前的中间表示通常被忽略，我们旨在有效利用输入数据上的不同观点。

不是最后一个隐藏层的表示，而是所有隐藏层的表示组合，可以提高神经网络的性能和泛化能力。（改变网络连接方式

首先训练一个深度FFNN。该阶段包括模型选择步骤，以选择最佳的超参数配置。然后，每个中间表示 φr 包括输入 φ0，用于构建基本核k

最后根据等式1，通过MKL算法将基本内核合并.

结果表示依赖于更丰富的特征空间，根据组合中的贡献，第一层和最后一层都涉及分类。

CNN卷积层的输出不是像以前的体系结构那样的单个矢量，而是一个张量，其形状取决于输入图像的尺寸乘以滤波器的数量。这样，在训练了网络之后，中间表示便被展平以构建内核。去除图像的结构和空间信息的这种平坦化操作不是限制性的。实际上，通常在堆叠的卷积序列之后将平整层应用于网络。

与经典体系结构的主要区别在于，所有层都同时连接到输出。这对应于在输出之前放置的“虚拟”密集层，它由所有先前层（包括输入层）的串联组成。这样，保留了具有不断增加的复杂性表示的深层体系结构，但允许输出计算（即最终预测）利用来自整个网络的信息。

（与语义分割的FCN结构类似
与FCN之间存在一些差异。首先，FCN通过逐元素加法而不是级联来组合层。其次，FCN结合了池化层而不是flatten的卷积。最后，虽然最初是针对语义分割性质的任务引入FCN方法的，但在此我们考虑一般分类任务的情况。

神经网络论文Enhancing deep neural networks via multiple kernel learning相关推荐

[论文笔记]Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
作者:Anh Nguyen, Jason Yosinski, Jeff Clune 链接:https://arxiv.org/pdf/1412.1897.pdf 摘要: 本文的工作基于Christia ...
Youtube推荐系统论文-《Deep Neural Networks for YouTube Recommendations》-简单总结
文章目录前言一.背景介绍二.整体架构三.召回层四.排序层前言今天要学习的是一篇关于推荐系统的经典的论文,它是由google在2016年发表的,应用场景是youtube上的视频推荐,然后这 ...
推荐算法论文：Deep Neural Networks for YouTube Recommendations
吹牛逼按照经典的信息检索方式讲推荐系统划分为两部分深度候选生成模型深度排序模型 1. 介绍 youtube推荐系统面临的三个问题规模:当前的推荐算法可以很好的解决数据量较小的问题,但是针对Yo ...
[论文品读]·d-vector解读(Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification)
Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification 目录 ABSTRACT 1. INTRODUC ...
3.Deep Neural Networks for YouTube Recommendations论文精细解读
一.总述今天分享的是Deep Neural Networks for Y ouTube Recommendations这篇论文的一些核心,这篇论文被称为推荐系统工程实践领域的一篇神文,每一个细节都值 ...
[译]深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)...
译自:http://sebastianruder.com/multi-task/ 1. 前言在机器学习中,我们通常关心优化某一特定指标,不管这个指标是一个标准值,还是企业KPI.为了达到这个目标,我 ...
剪枝综述论文阅读：Methods for Pruning Deep Neural Networks
文章目录一.概述 1.分类 2.评估二.Magnitude based pruning 1.权重剪枝 2.彩票定理 3.特征图和过滤器剪枝 (1)基于通道方差的剪枝 Inbound pruning ...
论文笔记：Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 文章概况作者 ...
【论文泛读】XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification
论文题目:XFlow: Cross-Modal Deep Neural Networks for Audiovisual Classification 时间:2019 来源:IEEE TNNLS 论文 ...
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记
Procedural Noise Adversarial Examples for Black-Box Attacks on Deep Neural Networks论文笔记 0. 概述如今一些深度 ...

神经网络论文Enhancing deep neural networks via multiple kernel learning

神经网络论文Enhancing deep neural networks via multiple kernel learning相关推荐

最新文章

热门文章