【论文阅读】Diffusion-Convolutional Neural Networks (DCNNs) | day9、10
30th Conference on Neural Information Processing Systems (NIPS 2016)
文章目录
- 一、介绍
- 优势:
- 二、模型
- 三、缺点
用于图结构化数据的神经网络——扩散神经网络。
该网络可从图结构化数据中获得基于扩散的特征表示。
基于此,可实现节点的分类。
优点:
- 可以获得同构结构下不变的图结构的潜在表示。
- 可以以张量运算的方式在GPU上进行预测和学习。
- 在节点分类任务中的表现优于概率关系模型和基于图的核方法。
一、介绍
通过引入“扩散卷积 diffusion-convolution’ operation”运算,将卷积神经网络(CNN)扩展到一般的图结构数据。扩散卷积运算不是像标准卷积运算那样在网格结构输入上扫描参数的“平方”,而是通过在图形结构输入中的每个节点上扫描扩散过程来构建潜在表示。
该模型的动机是,封装图扩散的表示,可以提供比图本身更好的预测基础。图扩散可以表示为矩阵幂级数,提供了一种简单的机制,用于包含有关实体的上下文信息,这些信息可以在多项式时间内计算并在GPU上高效实现。
优势:
- 分类准确率:DCNNs在节点分类任务上表现良好,并提供与图形分类任务的基线方法相当的性能。
【基线是项目储存库中每个工件版本在特定时期的一个“快照”。它提供一个正式标准,随后的工作基于此标准,并且只有经过授权后才能变更这个标准。建立一个初始基线后,以后每次对其进行的变更都将记录为一个差值,直到建成下一个基线。】 - 灵活的图形数据表示方法:只需很少的预处理即可对节点特征、边缘特征和纯结构信息进行编码。且可用于具有图形数据的各种分类任务,包括节点分类和全图分类。
- 处理速度快:基于DCNN的预测可以表示为一系列多项式时间张量(tensor)操作,允许使用现有库在GPU上高效地实现模型。
二、模型
假设有一组图,图形可以是加权的或未加权的、有向的或无向的。图的节点和边分别用一个矩阵表示,且构造一个度归一化矩阵,用于说明在一步中节点i跳到节点j的概率。
- 半监督分类任务:若输入一个图,且节点标签与其他节点有关。
- 标准监督分类任务:输入图没有边。
- 监督图分类任务:若输入多个图,且图标签与与每个图都有关。
DCNNs将图作为输入,返回节点 / 图的标签Y的硬预测或条件分布P(Y |X)。
节点或图形将被转换为扩散卷积表示,是一个H × F矩阵。若为节点分类任务,图被表示为N × H × F的张量,若为图分类任务,则被表示为H × F矩阵。
模型基于扩散核的思想建立,当考虑图中任意两个节点之间的所有路径时,较长的路径比较短的路径更容易被忽略。扩散核是节点分类任务的基础。
DCNN的核心操作是将节点及其特征,映射到,从该节点开始的扩散结果中。与标准CNN相比,DCNN参数与扩散搜索深度有关,而不是在网络中的位置。
DCNN可应用于没有特征的图输入,将值为1.0的“偏差特征”与每个节点关联起来即可。此外,可以通过添加额外的结构节点特征(如Pagerank或聚类系数)来编码更丰富的结构,这时需要手工工程和预处理。
DCNN通过反向传播误差的随机小批量梯度下降进行学习。在每个epoch上,节点索引被随机分组为几个批次。每个批次的误差计算方法是,取图定义幂级数的切片,将输入向前传播以预测输出,然后对反向传播的误差进行梯度上升设置权值。若实行“窗口早停”,则当给定epoch的验证误差大于前几次epoch的平均误差时,停止训练。
三、缺点
不可扩展性:DCNNs可应用于具有数万到数十万个节点的图,但不适用于具有数百万到数十亿个节点的图。内存不够存储张量。
局部性:DCNNs为节点构造的潜在表示,是基于该节点之后的扩散过程。是一个局部的构造。而无法为单个节点构造潜在表示,或为其他非局部行为之间构造潜在表示。
【论文阅读】Diffusion-Convolutional Neural Networks (DCNNs) | day9、10相关推荐
- 论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 重点:利用迁移学习三个网络常规化进行分类
论文阅读2018-Deep Convolutional Neural Networks for breast cancer screening 摘要:我们探讨了迁移学习的重要性,并通过实验确定了在训练 ...
- 论文阅读:Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类
Convolutional Neural Networks for Sentence Classification 卷积神经网络的句子分类 目录 Convolutional Neural Networ ...
- 【读点论文】CMT: Convolutional Neural Networks Meet Vision Transformers
CMT: Convolutional Neural Networks Meet Vision Transformers Abstract 视觉transformer已经成功地应用于图像识别任务,因为它 ...
- [论文阅读笔记]Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images
Deep Neural Networks are Easily Fooled:High Confidence Predictions for Unrecognizable Images(CVPR201 ...
- 读论文系列(二)Convolutional Neural Networks over Tree Structures for Programming Language Processing
系列文章目录 读论文系列(一)Automated software vulnerability detection with machine learning 文章目录 系列文章目录 Keywards ...
- 【论文阅读】Deep Neural Networks for Learning Graph Representations | day14,15
<Deep Neural Networks for Learning Graph Representations>- (AAAI-16)-2016 文章目录 一.模型 1.1解决了两个问题 ...
- 论文笔记:Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering
前言 初代频域GCN简单粗暴的将diag(g^(λl))diag(\hat{g}{(\lambda_l)})diag(g^(λl))变成了卷积核diag(θl)diag(\theta_l)diag ...
- 论文阅读:Recurrent Neural Networks for Time Series Forecasting Current Status and Future Directions
typora-copy-images-to: ./ Recurrent Neural Networks for Time Series Forecasting: Current Status and ...
- [ICCV2019论文阅读]Asymmetric Non-local Neural Networks for Semantic Segmentation
作者:Zhen Zhu, Mengde Xu, Song Bai, Tengteng Huang, Xiang Bai 机构:Huazhong University of Science and Te ...
最新文章
- linux内核页高速缓存,《Linux内核设计与实现》读书笔记(十六)- 页高速缓存和页回写(示例代码)...
- 康哥教你如何有效管理重做日志文件
- 提高你开发效率的十五个 Visual Studio 使用技巧
- 【安全系类之设计】应用安全相关
- python遍历数组冒泡排序法_十种排序七种搜索算法的Python实现——气泡排序,十大,七大,查找,python,冒泡排序,bubblesort...
- Spring Data JPA入门
- MongoDB和Elasticsearch的各使用场景对比
- python安装rarfile模块_python模块整理7-zipfile模块
- mysql 目录位置_更改MySQL数据库目录位置
- 工业产品生产许可证审查费用已取消
- Red5流媒体服务器的搭建与使用
- 面试自我介绍3分钟通用计算机专业,面试自我介绍3分钟
- 数字电路逻辑化简公式
- mysql修改游戏,第十二讲 战神引擎游戏列表和公告修改
- 企业微信群机器人怎么用
- 迅速提高产品用户体验、交互、界面设计的几个绝妙方法
- QWidget/QToolBar::addAction的设计真是绝妙
- 083-我最爱的周杰伦几首歌
- Qt制作大数据可视化大屏展示电子看板
- 2017 杭电多校联赛第二场 1003 Maximum Sequence(单调队列)HDU 6047
热门文章
- 语言prodave以太网通讯_工业以太网通讯
- access 打印预览 代码_如何在亚银标签纸上批量打印条形码
- 双十一丨你负责买买买 我做你背后的那个数据人
- 使用DataSync迁移数据到Gaussdb T
- 老司机带你在MySQL领域“大吉大利,晚上吃鸡”
- DB2 Vs MySQL系列 | MySQL与DB2的数据类型对比
- 【华为云技术分享】Sketch插件技术 — 让研发和设计高效协同
- 【Python3网络爬虫开发实战】 3.2-使用requests
- 多大的计算机科学,科学网—大家计算机的屏幕尺寸都是多大的? - 刘洋的博文...
- Spark之RDD实战2