加州理工学院三年级博士生提出傅里叶神经算子，偏微分方程提速1000倍

Nicolas2050

偏微分方程存在于生活中的方方面面，但这个方程通常需要借助超算才能求解。最近加州理工的一个博士生提出了一种傅里叶神经算子，能让求解速度提升1000倍，从此让你不再依赖超算！


微分方程是数学中重要的一课。所谓微分方程，就是含有未知函数的导数。一般凡是表示未知函数、未知函数的导数与自变量之间关系的方程，就叫做微分方程。

如果未知函数是一元函数的，就叫做常微分方程；

如果未知函数是多元的，就叫做偏微分方程。
偏微分方程拥有广泛的应用场景，模拟客机在空中的飞行姿势，地震波在地球上的仿真，传染病在人群中扩散的过程，研究基本力和粒子之间的相互作用等场景，工程师、科学家和数学家们都诉诸于偏微分方程来描述涉及许多独立变量的复杂现象。

然而，偏微分方程的求解过程却是异常艰难的，尤其对于计算机来说，只能以最笨拙的方法去求解。

对于特别复杂的偏微分方程，可能需要数百万个CPU小时才能求解出来一个结果，所以求救过程也通常依赖于超级计算机。随着问题越来越复杂，从设计更优秀的火箭发动机到模拟气候变化，科学家们需要一个更「聪明」的求解方法。

或许，可以试试神经网络？

从历史上看，神经网络主要用于学习有限维欧氏域之间的映射，所以使用神经算子可以直接从任何函数参数依赖性中学习到偏微分方程（partial differential equations， PDE）的解。

相比于传统的解题方法，神经网络更倾向于找到一个通用的解决方案，训练一个模型就能解决一类偏微分方程，而非特定的方程求解。

加州理工学院的研究人员最近提出了一种新的解决PDE方程的神经网络策略，比之前的深度学习方法的准确率更高。

另外，它更加稳定，并且能够解决所有类型的PDE，例如任何流体的Navier-Stokes方程，而无需重新训练。

它的运算速度比标准数学公式快1000倍，所以研究人员可能对超级计算机的需求没有那么大，并且可以利用超算来计算出更复杂的问题。

文章的第一作者是Zongyi Li, 加州理工学院三年级博士生，导师是Anima Anandkumar教授。主要研究方向包括机器学习，理论计算机科学和应用数学。最近一直在Kortschak学者计划的支持下研究偏微分方程的深度学习方法。

传统的求解方法，如有限元法（fem）和有限差分法（fdm），都是通过空间离散来求解方程的。在此之前，他们对解决方案进行了权衡：粗网格速度快，但精度低；精细网格精确但速度慢。

复杂的PDE系统通常需要非常细粒度的离散，因此传统解决方案非常具有挑战性和耗时。

另一方面，数据驱动方法可以直接从数据中学习方程组的轨迹。因此，基于学习的方法的阶数可能比传统的求解方法的阶数大。

机器学习则成了其中的关键，而方法也分为各个流派。

有限维算子（Finite-dimensional operators）将解算子参数化为有限维欧氏空间之间的深卷积神经网络，但它的定义是网格相关的，需要对不同的分辨率和离散度进行修改和调整，以实现一致的错误（如果可能的话）。

此外，这些方法仅限于训练数据的尺寸和几何形状的离散化，因此无法在该领域的新点上查询解决方案。相比之下，我们的方法显示了网格分辨率的误差不变性和网格间传递解的能力。

Neural-FEM直接将解函数参数化为神经网络工作，旨在模拟PDE的一个特定实例，而不是解决方案运算符。它具有网格无关性和准确性，但对于函数参数/系数的任何新实例，都需要训练一个新的神经网络。

该方法类似于有限元等经典方法，用神经网络空间代替有限组局部基函数的线性范围。神经-有限元方法与经典方法具有相同的计算问题：每一个新的实例都需要求解优化问题。此外，该方法仅限于了解基本PDE的设置。
神经算子（Neural Operator）使用神经网络学习无网格、无限维算子。神经算子通过产生一组可用于不同离散化的网络工作参数来纠正上述有限维算子方法的网格相关性质。它具有在网格之间传递解的能力。

此外，神经算子只需接受一次训练。求解一个新的参数实例只需要网络的前向传递，从而解决了神经有限元方法中存在的主要计算问题。最后，神经运算符只需要数据，而不需要了解PDE的基础知识。

到目前为止，由于积分算子的评价代价高，神经网络算子在有限维设置下还没有得到与卷积或递归神经网络并行的有效数值算法。通过快速傅里叶变换可以缓解计算量。

傅里叶变换（Fourier Transform）常用于求解微分方程的谱方法，因为微分等价于傅里叶域的乘法。傅立叶变换在发展深度学习方面也发挥了重要作用。理论上，它们出现在通用逼近定理的证明中，并且在经验上，它们被用于加速卷积神经网络。

这篇论文也是提出了一种在傅立叶空间中直接定义的具有准线性时间复杂度和最新逼近能力的神经算子结构。

与以往解决PDE 方程的方法不同，研究人员这次选择指定傅里叶空间中的输入和输出，用于表示波频率的独特图。

据Anima Anandkumar教授称，他们从以前的其他领域的工作中发现是空气运动（air motion）确实可以被描述为波频的组合。例如，风的总体方向类似于在宏观层面的极长的频率，相比之下，微水平的小漩涡类似于具有非常短，快的高频波。


神经网络的任务相对是简化的，因为它更容易估计傅里叶空间中的傅里叶函数而不是欧几里德空间中的PDE。

偏微分方程指含有未知函数及其偏导数的方程，描述自变量、未知函数及其偏导数之间的关系，符合这个关系的函数是方程的解。

偏微分方程很神奇，非常擅长描述随时间和空间的变化，因此对于描述种种现象非常有用，可用于描述从行星运动、天气变化、到随时空结构变化的所有事物，但是众所周知，它们很难求解。

譬如说，假设尝试模拟空气湍流，有一个称为纳维-斯托克斯（Navier-Stokes）的方程，用于描述任何流体的运动。通过解此偏微分方程，可以得知任何时间点的流体运动，并模拟将如何继续运动或之前是如何运动的。

但这些计算非常复杂且计算量很大，所以常常依赖超级计算机来进行数学运算。这就是人工智能领域可以发挥作用的地方。通过使用深度学习来加快解决的速度，将对科学探索和工程应用产生很大的好处。

现在，加州理工学院的研究人员推出了一种用于解决偏微分方程的新的深度学习技术，该技术比以前开发的深度学习方法精确得多，还具有更为广泛的通用性，无需重新训练即可解决整个偏微分方程系列，例如适用于任何类型流体的纳维-斯托克斯方程。而且，它比传统的数学方式快上千倍，从而减轻对超级计算机的依赖，并提高为更难的问题建模的计算能力。

在介绍这个解决偏微分方程的新的深度学习技术之前，首先欣赏一下结果，在下面的动画中，可以看到令人印象深刻的结果。左边第一列显示了流体运动的两种初始条件；中间第二列显示了流体的实际连续运动；右边第三部分显示新的深度学习技术的神经网络如何预测流体的运动，它看起来基本上与中间第二列的实际运动几乎完全相同。

这个解决偏微分方程的新的深度学习技术的神经网络是什么样的呢？简单来讲，神经网络从根本上说是一种函数逼近器，当训练一对成对的输入和输出的数据集时，实际上是在计算该函数或一系列数学运算，将一个转换逼近为另一个。

譬方说，考虑识别狗，通过向神经网络提供各种狗的图像（输入）并分别用1或0标记每个组（输出）来训练神经网络。然后，神经网络寻找最佳功能，该功能可以将狗的每张图像都转换为1，将其它都转换为0。这就是它如何看待新图像并告诉是什么样的狗。它使用发现的功能来计算答案，如果训练得当，大多数情况下都是正确的。

从数学上讲，这是一个函数逼近过程，是解决偏微分方程所需要的，最终将尝试找到最能描述在物理空间和时间上的函数。

通常训练神经网络是通过近似欧几里得空间中定义的输入和输出之间的函数，具有x，y和z轴的经典图形。但是在该研究中，研究人员决定在傅立叶空间中定义输入和输出，这是一种用于绘制波频率的特殊图形。

为什么这很重要？因为在傅立叶空间中逼近傅立叶函数比在欧几里得空间中与偏微分方程纠缠要容易得多，这极大地简化了神经网络的工作，同时准确性和效率提高：除了相对于传统方法的巨大速度优势外，这一技术在解决纳维-斯托克斯方程时的错误率比以前的深度学习方法降低30％。

这样的过程颇聪明，也使该方法更具通用性。研究实验证实，以前的深度学习方法必须针对每种类型的流体分别进行训练，而这种方法只需要训练一次就可以处理所有流体。

以前，每种类型的流体必须独立训练。但是，正如研究人员的试验所证明的那样，这种方法需要训练一次来管理它们。虽然他们尚未尝试将其扩展到其他示例，但是当在求解涉及地震活动或任何材料类型或者寻址涉及导热率的PDE时，它也能够应对。

在实验部分可以看到，文中所提出的框架可以近似于复杂算子在高非线性、高频率模式和低能量衰减的PDE。神经运算器的能量来源于线性、全局积分算子（通过傅里叶变换）和非线性、局部激活函数的组合。

与标准神经网络结合线性乘法和非线性激活逼近高度非线性函数的方法类似，所提出的神经算子可以逼近高度非线性算子。

Nicolas2050

“Fourier Neural Operator for ParametricPartial Differential Equations”.

Nicolas2050

没有学者的言论自由，就没有知识创新，国家科教投入再多也是打水漂。

Ysu2008

保重身体管住嘴，静待曹操刘备复活。