《A Discussion on Solving Partial Differential Equations using Neural Networks》梳理

（读本论文，需要有深度学习的基础，并了解偏微分方程的求解）

摘要

提出问题：神经网络可以学习求解偏微分方程（PDE)吗？
研究问题：本文，用泊松方程和稳定的Navier-Stokes方程来研究这个问题
本文贡献：
（1）用数值实验表明小（<500个可学会的参数）的神经网络能精确地学习PDEs的复杂解
（2）研究了随机初始值对神经网络质量的影响
（3）在本工作中研究损失函数的适用性
（4）相比传统数值方法，用神经网络求解PDE的优缺点
（5）提出一些未来工作的可能方向

1.引言

大多数PDEs没有可解析的解，可以用传统数值方法（基于域的离散化）来逼近解，这些传统数值方法在低维的规则区域上十分有效，对于复杂区域和高维情况就不够理想。

2.算法

（1）偏微分方程介绍

这是带有狄里克雷问题边界条件的偏微分方程，d是空间维数，N是一个微分算子，f(x)、g(x)已知，求u(x)
（狄里克雷边界条件，https://blog.csdn.net/qq_38517015/article/details/101362131）

（2）算法
用u^逼近u

（3）损失函数

罚函数法把有约束最优化问题转化为求解无约束最优化问题
（罚函数法，https://blog.csdn.net/qq_38517015/article/details/101389370）
上面的损失函数是下面这个表达式的Monte Carlo逼近
（Monte Carlo方法，https://blog.csdn.net/qq_38517015/article/details/101345140）

3.实验

（1）基本介绍
a.在本工作中，使用 Broyden–Fletcher–Goldfarb–Shanno (BFGS) 算法来优化网络参数；使用sigmoid激活函数和Xavier初始值（BFGS、激活函数、初始值这些概念都是神经网络中的基础概念，待了解）

b.使用启发式的有限差分法（FDM）来测量近似解的质量
(FDM https://blog.csdn.net/qq_38517015/article/details/101421305）

对于以下两个问题，该区间是一个矩形区域，网格点的选取：对于相邻点，有d-1个坐标相同，另一个坐标相差0.01

（2）求解泊松方程
a.泊松方程

b.一些参数
d=2，研究二维空间的泊松方程
神经网络的隐藏层数为1-4个，每个隐藏层有16个单元（隐藏层、单元待了解）
数据集有四个，1000、2000、4000、8000

c.损失函数

因为：原本的损失函数远远小于1，不能有效地更新神经网络的权值

d.构造问题

f=2Π^2sin(Πx1)sin(Πx2)

e.实验结果及结论
table1，最好的结果出现在数据集3只有一个隐藏层的情况
figure1，在右上角的误差最大，修改损失函数

table2
为了研究初始权重对神经网络质量的影响，用42-51这十个随机种子来训练十个神经网络，然后对损失函数求平均值和方差
平均值最小的情况仍是在数据集3中
标准差和平均值是一个数量级，可见各神经网络间的差别很大，所以说明初始权重对神经网络质量有很大影响
table2最后一行
kendall系数（https://blog.csdn.net/qq_38517015/article/details/101379012）

求kendall系数得到以下两个式子的相关性

table2中系数均<0.6，表示这两个式子之间没有很强的相关性

（3）求解稳定的Navier-Stokes方程(跟泊松方程求解过程差不多）
a.方程
b.损失函数

c.构造问题

d.实验结果及结论略

4.讨论与未来工作

（1）以上得出结论：当使用BFGS算法来优化时，使用小的神经网络可以学习偏微分方程的复杂解
（2）

相关性低，修改损失函数，原本时1/Ncorner，这里为η/Ncorner

(3)算法的随机性可能是个缺点，但是本工作中训练10个神经网络然后求平均值的做法也能得到较好的效果
未来的一项工作是把这种平均化的方法和阻止BFGS求解器过早结束迭代的方法结合起来
（4）有些连续采样的区域，不是很好学习，近似解不够理想
可以引入密度函数、Markov Chain Monte Carlo方法来采样
也可以用平均化的方法在较高不确定区域采样
（5）优化过程是瓶颈
可能原因：用罚函数法把约束问题转化为了非约束问题
可以用Lagrangian descent方法解决带约束的最优问题（n是迭代次数？）

此时的损失函数

（6）神经网络求解PDE的优缺点