NeurIPS 2019 图机器学习笔记大全!附笔记原文!
图机器学习在AI会议上热度颇高,但它并不像您想象的那样神秘。Michal Galkin写了篇专门针对图机器学习的笔记。让我们来看看它在NeurIPS 2019有多活跃!
仅在NeurIPS 2019的主会场就有100多个与图形相关的论文发布,并且在3个研讨会上都有它的身影。大会相关内容包括了图形表示学习(约100篇论文),知识表示和推理与机器学习(KR2ML)(约50篇论文),会话式AI 等。在这篇文章中,我们将从以下几个方面探讨图机器学习的发展趋势。
1.双曲图嵌入
2.逻辑与知识图嵌入
3.马尔可夫逻辑网络Strike Back
4.对话式AI和图
5.预训练和理解图神经网络
6.结论
- 双曲图嵌入
传统的嵌入算法将学习到的向量放置在可能具有高维数(50-200)的欧几里得“平坦”空间中,其中两个向量之间的距离可以是用欧几里得几何表示。相反,双曲算法采用Poincare球和双曲线空间,被应用于嵌入。双曲嵌入可以更好地对层次结构进行建模,与欧几里得空间相比,它使用更少的尺寸。另一方面,训练优化双曲网络很难。NeurIPS 18提出了几个有关构建双曲神经网络的深入理论研究的论文。在NeurIPS 19我们看到了双曲几何在图形中的应用!
Hyperbolic Graph Convolutional Neural Networks这篇文章中,Chami等人提出了双曲线图卷积神经网络(HGCN),Liu等人提出了双曲线图神经网络(HGNN)。从概念上讲,这两篇论文都旨在通过不同的模型将双曲线空间的优点与GNN的表现力相结合。Chami等人(HGCN)专注于节点分类和链接,与欧几里得方法相比,预测任务实现了令人印象深刻的错误减少率,尤其是在Gromov双曲得分较低的数据集上(即树状图的状态(树为0))。Liu等人(HGNN)强调图分类任务。HGCN和HGNN的参考实现可在GitHub上获得。
Chami等人(是HGCN的作者)在另一篇论文中提出的RotationH是在双曲KG嵌入挑战中的赢家。该模型采用双曲线旋转(概念上有点接近RotatE模型,但后者在复杂空间中起作用)和可学习的曲率。RotationH在WN18RR上实现了新的SOTA,并且在低维度设置中也表现出色,例如32D RotationH可与500D RotatE媲美。令人印象深刻!
- 逻辑与知识图嵌入
如果您关注Arxiv或AI会议的进行过程,您会注意到,研究者每年都会为我们带来越来越复杂的KG嵌入模型,从而使SOTA数进一步增加。是否有理论上的表达极限或研究什么可以建模,什么不能建模?幸运的是,我们有一些论文可以查询!
Chen从群体理论的角度研究KG嵌入。结果表明,您可以在复杂空间中对Abelian组建模,并证明RotatE(在复杂空间中采用旋转)可以表示任何有限的Abelian组
NeurIPS 2019 图机器学习笔记大全!附笔记原文!相关推荐
- 年终总结 | 2019年人工智能+计算机视觉+深度学习笔记思维导图汇总
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 本文主要回顾计算机视觉.人工智能.互联网公司.自动驾驶.手推笔记.Python操作等核心内容 篇幅有限,只能总结这些 ...
- cs224w(图机器学习)2021冬季课程学习笔记8 Colab 2
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 VX号"PolarisRisingWar"可直接搜索添加作者好友讨论. 更新日志: 20 ...
- cs224w(图机器学习)2021冬季课程学习笔记12 Knowledge Graph Embeddings
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Heterogeneous Graphs and Relational GCN (RGCN) ...
- cs224w(图机器学习)2021冬季课程学习笔记10 Applications of Graph Neural Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Graph Augmentation for GNNs 1.1 图特征增强Feature A ...
- cs224w(图机器学习)2021冬季课程学习笔记20 Advanced Topics on GNNs
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Advanced Topics on GNNs 2. Limitations of Grap ...
- cs224w(图机器学习)2021冬季课程学习笔记18 Colab 4:异质图
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 Question 1. DeepSNAP异质图简介 1.1 Question 1.1:分配Node ...
- cs224w(图机器学习)2021冬季课程学习笔记21 Scaling Up GNNs to Large Graphs
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. 介绍scale up GNN问题 2. GraphSAGE Neighbor Samplin ...
- cs224w(图机器学习)2021冬季课程学习笔记11 Theory of Graph Neural Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. How Expressive are Graph Neural Networks? 2. D ...
- cs224w(图机器学习)2021冬季课程学习笔记16 Community Detection in Networks
诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Community Detection in Networks 2. Network Com ...
最新文章
- commit your changes or stash them before you can merge
- python 中关于py2exe打包
- Web性能测试需监控的IIS性能指标
- iOS10 UI教程层次结构的事件
- 闪存我自己来——HDS公布闪存路线图
- Idea中内置Translation插件报“翻译错误”,解决方式!!!
- 最优化——线性规划总结2(单纯形法问题总结,检验数为0和退化)
- java 只显示文本文件_Java设计并实现一个应用程序,能够读取一个文本文件中的内容并显示,同时能够计算出文本中的行数。...
- 持久代是方法区还是堆中的?
- 三种方法实现轮播图配置,史上最简方法~
- android handler的机制和原理_Android 插件化原理——Hook机制之AMSamp;PMS解析
- pytorch-迁移学习学习率trick
- 拓端tecdat|R语言中如何使用排队论预测等待时间?
- c语言方框透视原理,FPS游戏的方框透视+自瞄原理
- 输入法相关的测试用例整理
- 基于时空融合的高效率多阶段视频降噪方法-EMVD
- ios支付宝客户端集成流程
- App 上线被拒绝的原因有哪些?
- Java cipher加密与解密
- New Bing已经出来了,怎么防止Bing跳转到国内版(cn.bing.com)?