图机器学习在AI会议上热度颇高,但它并不像您想象的那样神秘。Michal Galkin写了篇专门针对图机器学习的笔记。让我们来看看它在NeurIPS 2019有多活跃!

仅在NeurIPS 2019的主会场就有100多个与图形相关的论文发布,并且在3个研讨会上都有它的身影。大会相关内容包括了图形表示学习(约100篇论文),知识表示和推理与机器学习(KR2ML)(约50篇论文),会话式AI 等。在这篇文章中,我们将从以下几个方面探讨图机器学习的发展趋势。

1.双曲图嵌入
2.逻辑与知识图嵌入
3.马尔可夫逻辑网络Strike Back
4.对话式AI和图
5.预训练和理解图神经网络
6.结论

  1. 双曲图嵌入
    传统的嵌入算法将学习到的向量放置在可能具有高维数(50-200)的欧几里得“平坦”空间中,其中两个向量之间的距离可以是用欧几里得几何表示。相反,双曲算法采用Poincare球和双曲线空间,被应用于嵌入。双曲嵌入可以更好地对层次结构进行建模,与欧几里得空间相比,它使用更少的尺寸。另一方面,训练优化双曲网络很难。NeurIPS 18提出了几个有关构建双曲神经网络的深入理论研究的论文。在NeurIPS 19我们看到了双曲几何在图形中的应用!

Hyperbolic Graph Convolutional Neural Networks这篇文章中,Chami等人提出了双曲线图卷积神经网络(HGCN),Liu等人提出了双曲线图神经网络(HGNN)。从概念上讲,这两篇论文都旨在通过不同的模型将双曲线空间的优点与GNN的表现力相结合。Chami等人(HGCN)专注于节点分类和链接,与欧几里得方法相比,预测任务实现了令人印象深刻的错误减少率,尤其是在Gromov双曲得分较低的数据集上(即树状图的状态(树为0))。Liu等人(HGNN)强调图分类任务。HGCN和HGNN的参考实现可在GitHub上获得。

Chami等人(是HGCN的作者)在另一篇论文中提出的RotationH是在双曲KG嵌入挑战中的赢家。该模型采用双曲线旋转(概念上有点接近RotatE模型,但后者在复杂空间中起作用)和可学习的曲率。RotationH在WN18RR上实现了新的SOTA,并且在低维度设置中也表现出色,例如32D RotationH可与500D RotatE媲美。令人印象深刻!

  1. 逻辑与知识图嵌入

如果您关注Arxiv或AI会议的进行过程,您会注意到,研究者每年都会为我们带来越来越复杂的KG嵌入模型,从而使SOTA数进一步增加。是否有理论上的表达极限或研究什么可以建模,什么不能建模?幸运的是,我们有一些论文可以查询!


Chen从群体理论的角度研究KG嵌入。结果表明,您可以在复杂空间中对Abelian组建模,并证明RotatE(在复杂空间中采用旋转)可以表示任何有限的Abelian组

NeurIPS 2019 图机器学习笔记大全!附笔记原文!相关推荐

  1. 年终总结 | 2019年人工智能+计算机视觉+深度学习笔记思维导图汇总

    点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 本文主要回顾计算机视觉.人工智能.互联网公司.自动驾驶.手推笔记.Python操作等核心内容 篇幅有限,只能总结这些 ...

  2. cs224w(图机器学习)2021冬季课程学习笔记8 Colab 2

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 VX号"PolarisRisingWar"可直接搜索添加作者好友讨论. 更新日志: 20 ...

  3. cs224w(图机器学习)2021冬季课程学习笔记12 Knowledge Graph Embeddings

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Heterogeneous Graphs and Relational GCN (RGCN) ...

  4. cs224w(图机器学习)2021冬季课程学习笔记10 Applications of Graph Neural Networks

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Graph Augmentation for GNNs 1.1 图特征增强Feature A ...

  5. cs224w(图机器学习)2021冬季课程学习笔记20 Advanced Topics on GNNs

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Advanced Topics on GNNs 2. Limitations of Grap ...

  6. cs224w(图机器学习)2021冬季课程学习笔记18 Colab 4:异质图

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 Question 1. DeepSNAP异质图简介 1.1 Question 1.1:分配Node ...

  7. cs224w(图机器学习)2021冬季课程学习笔记21 Scaling Up GNNs to Large Graphs

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. 介绍scale up GNN问题 2. GraphSAGE Neighbor Samplin ...

  8. cs224w(图机器学习)2021冬季课程学习笔记11 Theory of Graph Neural Networks

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. How Expressive are Graph Neural Networks? 2. D ...

  9. cs224w(图机器学习)2021冬季课程学习笔记16 Community Detection in Networks

    诸神缄默不语-个人CSDN博文目录 cs224w(图机器学习)2021冬季课程学习笔记集合 文章目录 1. Community Detection in Networks 2. Network Com ...

最新文章

  1. commit your changes or stash them before you can merge
  2. python 中关于py2exe打包
  3. Web性能测试需监控的IIS性能指标
  4. iOS10 UI教程层次结构的事件
  5. 闪存我自己来——HDS公布闪存路线图
  6. Idea中内置Translation插件报“翻译错误”,解决方式!!!
  7. 最优化——线性规划总结2(单纯形法问题总结,检验数为0和退化)
  8. java 只显示文本文件_Java设计并实现一个应用程序,能够读取一个文本文件中的内容并显示,同时能够计算出文本中的行数。...
  9. 持久代是方法区还是堆中的?
  10. 三种方法实现轮播图配置,史上最简方法~
  11. android handler的机制和原理_Android 插件化原理——Hook机制之AMSamp;PMS解析
  12. pytorch-迁移学习学习率trick
  13. 拓端tecdat|R语言中如何使用排队论预测等待时间?
  14. c语言方框透视原理,FPS游戏的方框透视+自瞄原理
  15. 输入法相关的测试用例整理
  16. 基于时空融合的高效率多阶段视频降噪方法-EMVD
  17. ios支付宝客户端集成流程
  18. App 上线被拒绝的原因有哪些?
  19. Java cipher加密与解密
  20. New Bing已经出来了,怎么防止Bing跳转到国内版(cn.bing.com)?

热门文章

  1. Transformers 多语言模型 | 十一
  2. 信息收集入门面试考题
  3. 计算机专业研究生如何看待计算机期刊论文
  4. 量化投资学习——ESG因子收益分析
  5. markdown语法及公式编辑
  6. python 找出列表中出现最多的元素_利用Python找出序列中出现最多的元素示例代码...
  7. Java银行卡归属地校验查询
  8. JAVA:实现AES 加密算法(附完整源码)
  9. jq 手风琴折叠菜单 js滚动效果 collapse.js slideUp()
  10. 豌豆荚取应用信息Api