1、简介

2、An overview of Graph Generative Models and Their Applications on Molecular Generation

背景

图生成学习范式

从VAE角度的工作

VGAE

GraphVAE

JTVAE编辑

编辑 Scaffold Hopping骨架跃迁

GAN方法角度工作

MoIGAN编辑

Flow角度工作

MoFlow

Glow

GraphDF

Diffusion角度工作

GraphEBM

EDM

小结

3、参考

1、简介

报告嘉宾：徐挺洋（腾讯AI lab）

报告题目

An overview of Graph Generative Models and Their Applications on Molecular Generation（图生成模型及其在分子生成中的应用）

报告摘要

Generating novel graph structures is a fundamental problem for studies in drug discovery, engineering, and social networks. Although a set of different generative models, such as VAE, GAN, Normalizing Flow, and diffusion models, have achieved great successes in image processing, it is still hard to naively apply such generative models directly to graph structures due to the complex distribution, non-unique nature of graph and non-local dependencies between nodes and edges in a graph. In this report, we will review how above generative models are employed into graph generations and their proper applications on the task of molecular generation. We will introduce VGAE, JTVAE, and GraphGMVAE as VAE-based methods; MolGAN and MolAICal as GAN-based methods; MoFlow and GraphDF as Flow-based methods. We will also discuss the current challenges for diffusion models in graph generation.

报告人简介

Tingyang Xu is a Senior researcher of Machine Learning Center in Tencent AI Lab. He obtained the Ph.D. degree from The University of Connecticut in 2017 and the bachelor’s degree from Shanghai Jiaotong University. In Tencent AI Lab, he is working on deep graph learning, graph generations and applying the deep graph learning model to various applications, such as molecular generation and rumor detection. His main research interests include social network analysis, graph neural networks, and graph generations, with particular focus on designing deep and complex graph learning models for molecular generations. He has published several papers on data mining, machine learning top conferences KDD, WWW, NeurIPS, ICLR, CVPR, ICML, etc.

2、An overview of Graph Generative Models and Their Applications on Molecular Generation

背景

在图像和语音上生成模型很成熟

GAN图生成意义和学习过程

在分子图、控制流和知识图谱上比较有意义

在CV领域上生成模型上经典方法

GAN：对抗角度，将真假数据一起放入辨别器，之和用生成器生成假数据

VAE：编码解码的变分角度，拟合后重构损失，一般假设高斯分布

Flow:双射函数fx

Diffusion：通过先验分布，逐步加Noise，之和仔逆向推回之前无噪声的x_0

在图上哪类方法更适合？

前两种显然适合

图因为有邻接矩阵，对阵，又是01矩阵，后两种方法难以直接使用

图生成学习范式

1、得到一个隐空间z后，通过一个网络直接将整个A的矩阵生成出来

2、像生成序列一样逐步生成

从VAE角度的工作

VGAE

思想：将隐空间z和其转置相乘可以得到的非01的矩阵，后sigmoid，最后重构损失

不足：不满足置换不变

GraphVAE

不是简单的计算损失，使用了了一个相似度矩阵

分子生成

衡量标准：

1）合法性

2）唯一性

3）新颖性

常见数据集：

1）QM9

2）ZINC

JTVAE

先来了解另一篇工作

step by step做的

要不要加点？加点后要不要再该店上加边？是否需要额外再加一个点？在两个点的基础上这两个点间要不要加边

JTVAE不同于一个一个点做，而变成一个结构一个结构的生成

树结构

框架

虽然耗时，但是合法性和唯一性以及创新性都很棒

Scaffold Hopping骨架跃迁

在隐空间在做不同假设

高斯混合分布

在红色部分也就是簇附近附近采骨架点，甚至更远区域采

效果对比

活性和结构相似度这两块分析

GAN方法角度工作

因为效果不是很好，就只介绍MoIGAN

MoIGAN

结果对比

合法性高，唯一性和新颖性低

Flow角度工作

MoFlow

重构上有优势

Glow

MoFlow

边矩阵计算

实验结果对比

GraphDF

就是加点/边的过程

训练过程

实验对比

Diffusion角度工作

GraphEBM

逐渐加噪声，而后去噪的一个学习过程，基本在高斯噪声

EDM

实验对比

小结

3、参考

LOGS 第2022/07/23期 || 腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用_哔哩哔哩_bilibili

LOGS 第2022/07/23期 || 腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用 (qq.com)

参考文献

Yu, Y., Xu, T., Li, J., Qiu, Y., Rong, Y., Gong, Z., ... & Huang, J. (2021). A novel scalarized scaffold hopping algorithm with graph-based variational autoencoder for discovery of JAK1 inhibitors.ACS omega, 6(35), 22945-22954.

Bai, Q., Tan, S., Xu, T., Liu, H., Huang, J., & Yao, X. (2021). MolAICal: a soft tool for 3D drug design of protein targets by artificial intelligence and classical algorithm.Briefings in bioinformatics, 22(3), bbaa161.

Bai, Q., Liu, S., Tian, Y., Xu, T., Banegas‐Luna, A. J., Pérez‐Sánchez, H., ... & Yao, X. (2022). Application advances of deep learning methods for de novo drug design and molecular dynamics simulation. Wiley Interdisciplinary Reviews: Computational Molecular Science, 12(3), e1581.

【GNN报告】腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用相关推荐

腾讯AI Lab开源世界首款自动化模型压缩框架PocketFlow：将深度学习装进口袋
来源:腾讯AI 实验室腾讯AI Lab机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架--PocketFlow,并即将在近期发布开源代码.这是一款面向移动端AI开发者的自动模型压缩 ...
腾讯AI Lab与Robotics X 2022年度回顾
感谢阅读腾讯AI Lab微信号第161篇文章.本文将进行2022年度回顾,祝大家新年快乐! 追求「比真实更真」,是贯穿 2022 年的大热点.基于大模型,AI 展现了令人兴奋的生成能力.与此同时,软硬 ...
腾讯AI Lab披露可信AI研究进展，解读20余项原创工作
感谢阅读腾讯AI Lab微信号第142篇文章.本文将介绍腾讯AI Lab在「可信AI」和科技向善的探索和最新研究成果. 近年来,人工智能算法被广泛地应用到医疗.金融.工业生产等多个重要领域,这些算法在 ...
腾讯AI Lab涂兆鹏：如何提升神经网络翻译的忠实度 | 附PPT + 视频
本文为 1 月 4 日,腾讯 AI Lab 高级研究员--涂兆鹏在第 22 期 PhD Talk 中的直播分享实录. 机器翻译是自然语言处理的经典任务之一,涉及到自然语言处理的两个基本问题:语言理解和 ...
AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文
美国人工智能年会(the Association for the Advance of Artificial Intelligence),简称AAAI,是人工智能领域的顶级国际会议.会议由AAAI协会 ...
NeurIPS 2018 | 腾讯AI Lab详解3大热点：模型压缩、机器学习及最优化算法
导读:AI领域顶会NeurIPS正在加拿大蒙特利尔举办.本文针对实验室关注的几个研究热点,模型压缩.自动机器学习.机器学习与最优化算法,选取23篇会议上入选的重点论文进行分析解读,与大家分享.Enjo ...
腾讯AI Lab开放文本理解系统TexSmart，让AI想得更深更广
感谢阅读腾讯AI Lab微信号第93篇文章.本文将介绍我们最新开放的自然语言理解系统TexSmart. 腾讯AI Lab今天宣布开放自然语言理解系统TexSmart,用以对中文和英文两种语言的文本进行 ...
【转载】NeurIPS 2018 | 腾讯AI Lab详解3大热点：模型压缩、机器学习及最优化算法...
原文:NeurIPS 2018 | 腾讯AI Lab详解3大热点:模型压缩.机器学习及最优化算法导读 AI领域顶会NeurIPS正在加拿大蒙特利尔举办.本文针对实验室关注的几个研究热点,模型压缩.自 ...
【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索
目录 1.简介 2.图神经网络最新范式的探索背景存在不足 Geometrically Equivariant Graph Neural Networks: A Survey Equivariant ...

【GNN报告】腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用

1、简介

2、An overview of Graph Generative Models and Their Applications on Molecular Generation

背景

图生成学习范式

从VAE角度的工作

VGAE

GraphVAE

JTVAE

Scaffold Hopping骨架跃迁

GAN方法角度工作

MoIGAN

Flow角度工作

MoFlow

Glow

GraphDF

Diffusion角度工作

GraphEBM

EDM

小结

3、参考

【GNN报告】腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用相关推荐

最新文章

热门文章