1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..

Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations
M. Raissi , P. Perdikaris , G.E. Karniadakis
这篇文章是从在一篇文献（Physics-Informed Neural Networks for Power Systems）中反复出现的，参考了里面的很多，所以打算拿出来看看。还是以知云的翻译为主。理论性比较强，以了解思路为主，暂时还没每个公式仔细看与编程实现。
**摘要：**引入 physics-informed neural networks——其中神经网络被训练来解决监督学习任务，同时遵守由一般非线性偏微分方程所描述的任何给定的物理定律。这项工作主要解决两类问题：数据驱动的解决方案和偏微分方程的数据驱动发现。根据可用数据的性质和排列，我们设计了两种不同类型的算法，即连续时间模型和离散时间模型。第一类模型形成了一个新的数据高效时空函数逼近器家族，而后者允许使用任意精确的隐式龙格-库塔时间步进方案，具有无限数量的阶段。通过一系列经典问题，如流体、量子力学、反应扩散系统和非线性浅水波的传播，证明了该框架的有效性。
1. Introduction
在小数据的情况下，绝大多数最先进的机器学习技术(如深度/卷积/循环神经网络)都缺乏鲁棒性，无法提供任何收敛保证。对于物理和生物系统建模的许多案例来说，存在大量的先验知识，而这些知识目前还没有被用于现代机器学习实践。如果是原则性的物理法则，或者是一些经验验证的规则或其他领域的专业知识，控制着系统的时间依赖的动态，那么这些先验信息可以作为一个正则化代理，将允许的解决方案的空间限制在一个可管理的大小。

2. Problem setup
整个工作中，我们一直使用相对简单的深度前馈神经网络架构，具有双曲正切激活函数，并且没有额外的正则化(例如，L1/L2惩罚、 dropout等)。每个数值例子都伴随着对我们使用的神经网络架构的详细讨论，以及它的训练过程的细节(例如优化器，学习率等)。最后，附录a和附录B提供了一系列旨在证明所提议方法性能的全面系统研究。
考虑一般形式的参数化非线性偏微分方程：

u(t, x) denotes the latent (hidden) solution, N [·;λ] is a nonlinear operator parametrized by λ
给定系统的噪声测量，我们感兴趣的是两个问题：第一个问题是inference,filtering and smoothing, or data-driven solutions of partial differential equations [4,8] which states: given fixed model parameters λ what can be said about the unknown hidden state u(t, x) of the system? 第二个问题是 learning, system identification, or data-driven discovery of partial differential equations [5,9,14] stating: what are the parameters λ that best describe the observed data?
3. Data-driven solutions of partial differential equations（第一个问题）
首先计算数据驱动解决偏微分方程(即上述第一个问题)一般形式的ut + N (u) = 0,在3.1和3.2节中，我们提出了两种不同类型的算法，即连续时间模型和离散时间模型
3.1. Continuous time models
定义 f (t, x) 为等号左侧,即 f := ut + N [u], 通过深度神经网络逼近u(t,x)，产生物理信息神经网络f(t,x)，该网络具有与表示u(t,x)的网络相同的参数，尽管由于微分算子N的作用他们具有不同的激活函数。通过最小化均方误差损失，可以学习神经网络u(t,x)和f(t,x)之间的共享参数：

Example (Schrodinger equation)

3.2. Discrete time models

Example (Allen–Cahn equation)

4. Data-driven discovery of partial differential equations
4.1. Continuous time models
在这个例子中我们观察到，物理信息神经网络能够正确地识别未知参数λ1和λ2，即使训练数据受到噪声的破坏，精度也很高。通过利用基础物理，从辅助测量中推断出持续的兴趣量，这是一个很好的例子，说明了基于物理的神经网络必须提供的增强功能，并突出了它们在解决高维逆问题方面的潜力。
4.2. Discrete time models
我们介绍一种不同的方法，该方法仅使用两个数据快照来处理数据驱动的发现问题。我们将看到，如何利用经典的龙格-库塔（Runge–Kutta ）方法，构建离散时间物理信息神经网络，即使在数据快照之间的时间间隔非常大的情况下，也能保持较高的预测精度。
5. Conclusions
介绍了基于物理的神经网络，这是一类新的通用函数逼近器，它能够编码控制给定数据集的任何潜在物理定律，并且可以用偏微分方程来描述。在这项工作中，我们设计数据驱动的算法来推断一般非线性偏微分方程的解，并构建计算效率高的物理信息代理模型。应用包括但不限于物理过程的数据驱动预测、模型预测控制、多物理/多尺度建模和仿真。
最后，附录a和附录B提供了一系列旨在证明所提议方法性能的全面系统研究

学习概念：
自动微分：自动微分百度百科就讲得不错
龙格-库塔(Runge-Kutta)方法：龙格-库塔(Runge-Kutta)方法数学原理及实现

1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..相关推荐

【论文笔记】《Virtual histological staining of unlabelled tissueautofluorescence images via deep learning》
[论文笔记]<Virtual histological staining of unlabelled tissueautofluorescence images via deep learnin ...
机器学习入门课程笔记（一）——deeplearning.ai: Neural Networks and Deep Learning
欢迎前往我的个人博客网站:mathscode.top获取更多学习资源. 所有文本内容会在知乎: MathsCode同步所有开放资源会在Github: MathsCode开放下载欢迎关注我的公众号: ...
吴恩达深度学习笔记——神经网络与深度学习（Neural Networks and Deep Learning）
文章目录前言传送门神经网络与深度学习(Neural Networks and Deep Learning) 绪论梯度下降法与二分逻辑回归(Gradient Descend and Logist ...
论文笔记 NAACL 2016|Joint Event Extraction via Recurrent Neural Networks
文章目录 1 简介 1.1 动机 1.2 创新 2 背景知识 3 方法 3.1 编码 3.1.1 句子编码 3.1.2 RNN编码 3.2 预测 3.2.1 触发词预测 3.2.2 论元角色预测 3. ...
顶会论文笔记：联邦学习——ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework
ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework 文章目录 ATPFL: A ...
Neural Networks and Deep Learning读书笔记--神经网络应用：手写数字识别
神经网络应用于MNIST数据手写数字识别加载MNIST数据,用下面所描述的一小段辅助程序mnist_loader.py来完成.用于存储MNIST数据的数据结构在文档字符串中进行了描述-它是简单的内容 ...
【论文笔记】视频息肉分割VPS：Video Polyp Segmentation A Deep Learning Perspective
论文地址:VPS 代码地址:GitHub - GewelsJI/VPS: Video Polyp Segmentation (VPS) 数据集说明:VPS/DATA_PREPARATION.md at ...
论文笔记（一）《Intriguing properties of neural networks》
对抗样本(一)<Intriguing properties of neural networks> 神经网络的有趣特性两点: 性质1:单个的深层神经元与随机线性组合的多个深层神经元并没有 ...
Neural Networks and Deep Learning 读书笔记
1 转载于:https://www.cnblogs.com/jellyj/p/9867103.html

1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..

1.3读论文笔记：M. Raissi a等人的Physics-informed neural networks：A deep learning framework for solving forw..相关推荐

最新文章

热门文章