主要内容

基础篇：
1 图的概述
2 神经网络基础
3 卷积神经网络
4 表示学习
高级篇
5 图信号处理与图卷积神经网络
6 GCN的性质
7 GNN的变体与框架
8 图分类
9 基于GNN的图表示学习
应用篇
10 GNN的应用简介

【基础篇】

【主要看GNN部分的内容，无关部分先跳过，后面再看…】

1. 图的概述

数学中的图论数据结构中的图数据科学中的图 —> 图数据任务：化学分子社交网络

1.1 图的基本定义

图的基本类型

有向图 + 无向图
非加权图 + 加权图
连通图 + 非连通图 (是否有点孤立)
二部图

邻居和度

邻居入度出度

子图与路径

子图： G（V,E）是另外一个图的一部分

路径（通路）：
路径长度：边的数目
顶点距离：d(vi,vj) = min(|Pij|) 最短路径
k阶邻居： d(vi，vj) = k
k阶子图：也称为k-hop

1.2 图的存储与遍历

邻接矩阵和关联矩阵
图的遍历

DFS + BFS

1.3 图数据的应用场景

同构图：比如万维网

异构图：节点种类或者边种类多于一种

属性图：每个节点和边有标签和属性信息

非显式图：比如3D点云数据，进一步转换

1.4 图数据的深度学习

引言：
谱图理论 – 谱聚类算法 — 图像分割
统计关系学习 – 打破iid条件
异构信息网络 – 挖掘结构信息和语义信息

发展关键词：表示学习和端到端的学习

发展历史：

2005年首次提出GNN，原先讲图变成向量表示，会丢失结构信息。

2009年，监督的学习方法训练GNN，迭代的方式进行，RNN网络传播邻居信息，耗时。

2012年，2013年首次将卷积引入图神经网络中，基于频域卷积操作的概念开发了一种图卷积网络模型。但是基于频域卷积的方法在计算时需要同时处理整个图，并且需要承担矩阵分解时的很高的时间复杂度，这很难使学习系统扩展到大规模图数据的学习任务上去，所以基于空域的图卷积被提出并逐渐流行。【频域卷积】

2016年，将频域图卷积的定义进行简化，使得图卷积的操作能够在空域进行，这极大地提升了图卷积模型的计算效率，同时，得益于卷积滤波的高效性，图卷积模型在多项图数据相关的任务上取得了令人瞩目的成绩。【空域卷积】

各种变体，遍地开花，统称为GNN，自此【图数据与深度学习进行了结合，实现端到端学习】

任务分类：

节点层面的任务
分类任务 + 回归任务，
【恶意账户检测、用户标签分类】

边层面的任务
边的分类是指对边的某种性质进行预测；边预测是指给定的两个节点之间是否会构成边。
【用户推荐、用户关注边建模】

图层面的任务
图层面的任务不依赖于某个节点或者某条边的属性，而是从图的整体结构出发，实现分类、表示和生成等任务。
【药物分类、酶分类】

2. 神经网络基础

2.1 机器学习基本概念

机器学习分类
训练角度：监督学习 + 无监督学习 + 半监督学习
输出角度 : 分类问题 + 回归问题
机器学习流程概述
特征工程 + 模型 + 损失函数 + 优化求解、模型参数获取
损失函数
平方损失 + 交叉熵损失
梯度下降算法

2.2 神经网络

神经元
多层感知机

2.3 激活函数

S型
sigmoid tanh
ReLU型
ReLU + LeakyReLU + PReLU、ELU

2.4 训练神经网络

神经网络运行过程
反向传播
优化困境

梯度消失
局部最优与鞍点
模型强非线性，参数维度高，损失函数虽然凸，但是损失函数与参数之间的关系是非凸的、

3. 卷积神经网络

图像 + 视频分析领域，图像分类、目标检测、图像分割等任务。

3.1 卷积和池化

信号处理中的卷积

图像中的卷积
卷积的意义

深度学习中的卷积操作

单通道卷积
多通道卷积

池化

平均池化
最大池化
…

3.2 卷积神经网络

卷积神经网络的结构
卷积神经网络的特点

局部连接
权值共享
层次化表达

3.3 特殊的卷积

1x1卷积
转置卷积
空洞卷积
分组卷积
深度可分离卷积

3.4 应用

VGG
Inception系列
ResNet

4. 表示学习

4.1 表示学习

表示学习的意义
离散表示与分布式表示

离散：独热向量编码，one-hot 汉字表示, 稀疏，计算困难，各对象独立，没办法衡量两者之间的距离。
分布式表示 : RGB颜色表示，稠密，可以衡量颜色之间的距离。比如余弦相似度。

端到端的表示学习

4.2 基于重构损失的方法-自编码器

欠完备自编码器：编码维度小于输入维度
过完备自编码器：编码维度大于等于输入维度
去噪自编码器：
稀疏自编码器：
变分自编码器
【重点】

4.3 基于对比损失的方法-word2vec

CBow :通过某个词上下文预测中心词
Skip-gram ：通过某个中心词预测上下文

【高级篇】

这里主要关注图的空域的推导！！！ 频域不用感兴趣研究即可，目前大多的新方法都是基于空域视角提出的。

5. 图信号处理与图卷积神经网络

5.1 矩阵乘法的三种方式

内积视角
行向量视角
列向量视角

5.2 图信号与图的拉普拉斯矩阵

知识补充:
公式推导需要认真看，确实难顶，推荐看 阿泽的学习笔记里面对于GCN的引出，各方面容易理解点，然后再看书。

（1）理解图的拉普拉斯矩：https://zhuanlan.zhihu.com/p/362416124

拉普拉斯算子：
二阶非混合偏导之和(连续) -> 离散情况 -> 图像

图的邻接矩阵与加权度矩阵：

拉普拉斯矩阵

（2）阿泽的学习笔记：https://blog.csdn.net/qq_27075943/category_10030485.html
【强推】

5.3 图傅里叶变换

5.4 图滤波器

空域角度
频域角度

5.5 图卷积神经网络

5.6 GCN实战

6. GCN的性质

6.1 GCN与CNN的联系

图像是一种特殊的图数据
从网络连接方式来看，二者都是局部连接
二者卷积核的权重是处处共享的
从模型的层面看，感受与随着卷积层的增大而变大

6.2 GCN能够对图数据进行端到端的学习

基于手工特征的方法
基于随机游走的方法
基于GCN的方法

6.3 GCN是一个低通滤波器

6.4 GCN的问题-过平滑

7. GNN的变体与框架

8. 图分类

9. 基于GNN的图表示学习

【应用篇】

10. GNN的应用简介

10.1 GNN的应用简述

GNN三个显著的能力：

图数据的拟合能力：蛋白质结构预测
2）强大的推理能力：视觉问答、实体关系推理
3） GNN与知识图谱结合： …

10.2 GNN的应用案例

10.2.1 3D视觉

点云数据同图数据一样，是一种非规则结构的数据，点与点之间的排列也没有顺序，这导致在视觉领域取得巨大成功的卷积网络无法直接复制到点云数据的处理中来，不过与
图数据的相似性也启发了GNN模型在其中的应用。

GNN用于点云数据之前：

转换为体元，三维规则结构
将点云转为多视图，许多虚拟快照，会丢失很多结构信息

有了GNN之后：

10.2.2 基于设计奥网络的推荐系统

10.2.3 视觉推理

10.3 GNN的未来展望

待更新补充

深入浅出图神经网络【阅读笔记】相关推荐

深入浅出图神经网络|GNN原理解析☄学习笔记（四）表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损 ...
《深入浅出图神经网络》读书笔记 1-2
<深入浅出图神经网络>读书笔记 1-2 第1章图的概述第2章神经网络基础 2.1 机器学习基本概念 2.2 神经网络 2.4 训练神经网络第1章图的概述图神经网络(Graph ...
GCN实战深入浅出图神经网络第五章：基于Cora数据集的GCN节点分类代码分析
GCN实战深入浅出图神经网络第五章:基于Cora数据集的GCN节点分类代码分析文章目录 GCN实战深入浅出图神经网络第五章:基于Cora数据集的GCN节点分类代码分析 SetUp,库声明数据准 ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
图神经网络学习笔记-01基础
图神经网络-01基础-图与图学习文章目录图神经网络-01基础-图与图学习图是什么图的定义图的基本表示方法 e.g 图的存储图的类型和性质图算法 1. 寻路和图搜索算法 1). 搜索算法 ...
《深入浅出图神经网络》读书笔记（5.图信号处理与图卷积神经网络）
文章目录 5.图信号处理与图卷积神经网络 5.1 矩阵乘法 5.2 图信号与图的拉普拉斯矩阵 5.3 图傅里叶变换 5.4 图滤波器 5.4.1 空域角度 5.4.2 频域角度 5.5 图卷积神经网络 ...
《深入浅出图神经网络》读书笔记（8. 图分类）
文章目录 8. 图分类 8.1 基于全局池化的图分类 8.2 基于层次化池化的图分类 8.2.1 基于图坍缩的池化机制 1.图坍缩 2.DIFFPOOL 3.EigenPooling 8.2.2 基于 ...
深入浅出图神经网络~卷积神经网络（上）
第三章卷积神经网络卷积神经网络(Convolutional Neural Network, CNN/ ConvNet)是一种具有局部连接,权值共享特点的深层前馈神经网络. 卷积与池化: 卷积与池化 ...
[读书笔记]日本蜡烛图技术阅读笔记
阅读心得: 全书总共270页,但是字体较大,行间距较大,读起来还算是轻松,而且每一个章节就有练习题,确实是比较有趣的书.读完以后,对于技术面有一个基本的认识,还待股市里面继续摸爬滚打了. 第一篇:蜡烛 ...

深入浅出图神经网络【阅读笔记】