两层非均匀分布神经网络NTK的特征函数

我们开始研究从非均匀分布中采样的两层神经网络的NTK模型。首先关注1D目标函数和分片连续数据分布，我们推到了NTK的特征方程和特征向量。这允许我们证明学习频率为一维函数需要次迭代，其中表示的最小密度。我们用具有更高维度的函数的实验来补充这些理论推导，这表明在中学习频率为的函数需要次迭代。

考虑只有第一层被训练的神经网络，NTK模型被表示为

假设n个训练数据是非均匀采样自圆上分片连续分布，。我们然后形成一个的矩阵其中元素由采样组成的决定，由上式定义。Arrora等人2019研究表明GD的收敛速率取决于的特征系统。为了分析特征系统，我们考虑的极限情况，即点数趋于无穷的时候。在极限的特征系统接近核的特征系统，其中特征方程满足如下方程

这是一个homogeneous Fredholm方程的第二类有着非对称极核。有着实特征值的特征函数的存在性建立在核的对称性基础上。令和。在上式乘以得到

特征方程存在且为实数。
进一步我们使用弧度来参数化单位圆，记为任意两个角度。我们因此将(7)表示为

其中(5)中的核用弧度表示为

和都是以为周期的因此依赖于单位圆。

特征方程的表达式

接下来我们解决(9)并导出特征方程的表达式。我们的推导假设是分段连续的。尽管假设局限在我们的界中，但是试验结果表明当连续变化的时候，特征方程也是连续调制的，和我们的解有一致性。我们总结为：
Proposition 1 令是的分片连续的密度函数。那么(9)中特征方程有如下一般形式

其中是整数，且

注意如果在连通区域，那么(11)能被写成

换句话说，在区域上，有一个余弦函数，频率与成比例。分片连续分布的特征函数如下所示：

image.png
命题的证明依赖于在补充材料中证明的引理，(9)满足如下二阶常微分方程

简而言之，引理通过使用一系列(9)的六阶导来证明，以及一些代数运算，得到的六阶常微分方程。假设分片连续可以简化ODE。然后(13)通过限制有周期，但是这个限制能够通过直接预处理数据来提升，而无须改变需要学习的数据。

(13)式有如下一般解：

使得的导数为，造成实特征方程的形式为

在均匀分布里面，由于周期边界条件，存在可数个特征值，能够使用均匀情况下已知的特征值得到

是整数，对有一个特征方程，且对有两个特征函数。

振幅和相移是通过要求特征函数处处连续可微确定的。我们对两个邻域显示了补充材料，成立，如果那么强度的比值是对不同值和有界的:

收敛时间

得到了NTK的特征方程和特征向量允许我们预测学习到目标函数需要的迭代步数并且理解由不同密度带来的影响。为了理解这一点，我们考虑目标函数形式为其中从的分段连续分布中采样。记为为连续密度区域。简略说，对每个区域我们期望能够和一个特征方程相关的很好(或许还会有另一个，但是会有更小的能量)。当然，最小密度的区域应当和最小特征值的特征函数相对应。特征值取决于区域的目标频率和密度，将会决定收敛的迭代次数。可以总结为如下定理。

定理1令为上分片连续分布。记为GD迭代次时的神经网络预测值。对任意，达到迭代的数量为，其中表示中的最小密度,隐藏了对数项。

由于一下事实，证明该定理很复杂(1)目标函数的频率或许没有准确被表示在核的特征方程中，由于特征方程的离散数目(2)特征方程限制在给定区域上不是正交的。这两个特性或许能造成不可忽略的核小特征值的特征方程的相关性。因此，为了证明定理1我们首先检查投影到小特征值对应的特征方程。随后，我们使用界来证明定理的收敛速度。证明提供在补充材料。

高维

导出从较高维中的非均匀分布得出的数据的解析表达式，即在是有挑战性的留给未来工作。然而，模拟实验让我们推测在成立的主要特性在高维也成立，即(1)分段连续分布的特征方程类似于球谐函数的级联斑块(2)这些谐波频率随着密度变化，并随着各自的特征值变小而单调递增(3)学习频率的谐波函数应当要求次迭代。

深度网络

我们接着把我们对NTK模型讨论拓展到深的全连接神经网络。我们首先证明了NTK的特征向量的确刻画了有限宽高度过参数神经网络的GD收敛性质。我们然后实验研究了NTK的特征向量和特征值从均匀和非均匀分布抽样的数据，并显示了纯正弦和谐波目标函数的收敛。

我们开始显示了NTK特征向量刻画了过参数有限宽全连接神经网络的动力学。我们的理论扩展了Arora的定理4.1，