这一篇文章也独立研究了F-Principle(Frequency Principle)，即神经网络具有优先收敛低频信号的特点。说明这是一个值得研究的方向，接下来将简要介绍一下本文的框架和主要内容。

摘要

深度神经网络的成功源自其在真实数据上的良好泛化。Zhang观测到神经网络能很容易过拟合随机标签。这个观测揭示着存在理论，我们无法充分解释为什么梯度方法可以找到神经网络的泛化解。在这个工作中，我们使用基于傅里叶的方法来研究基于梯度方法的一sinusoldal为激活函数的两层神经网络的基于梯度方法的泛化特性。我们证明了如果数据的分布具有很好的频域性质，如频带有限性，那么梯度方法就会收敛到具有泛化性的局部最小。我们还建立了基于傅里叶的在频带有限空间的泛化界，可以推广到其它激活函数。我们的泛化界激发了路径规范的分组版本，用于测量ReLU两层神经网络的复杂性。我们通过数值方法证明了，这种群路径范数的正则化导致了神经网络解决方案，高解决方案可以拟合真实标签，而又不会损失测试的准确性，同时又不会过拟合随机标签。

引言

给定DNN结构表示一个高度丰富的假设空间。然而，数值实验的结果表明简单的随机梯度下降能够有效找到能够同时在训练集和测试集表现良好的结果。
弄清楚DNNs的泛化性由于两个原因，是非常难的：(1)神经网络的经验误差最小是一个有着很多局部最小值的非凸问题(2)两个不同的局部最小值在训练集有着相同训练表现却可能在测试集上表现很不一样。由于这些原因，神经网络优化方法在找到的局部最小值的泛化性上有着重要的作用。例如，SGD通过实验表明比large-batch的梯度下降效果要好。同样的，可以通过合并观测数据的几何形状的方法来提升梯度方法的表现。
对于DNNs来说，一个优化方法不足以保证好的泛化性。Zhang通过实验揭示了通过SGD来训练的神经网络能够很轻易过拟合CIFAR-10的随机标签数据。然而，同样的神经网络通过SGD算法在原始CIFAR-10标签上达到了好的泛化性能。这个观测挑战了传统学习理论中解释为何SGD学习神经网络中泛化性好的假设。为了弄清这个现象，两个最近的工作提出用来研究神经网络的泛化界和复杂性度量，可以用来区别真实和随机标签所找到的局部最小值。Barlett证明了一个基于边界的泛化界且研究了它是如何和DNNs拟合真实和随机标签的泛化风险相关联的。Neyshabur研究了DNNs的不同复杂度得分，并研究了它们如何在不同的真实和随机标签中表现。复杂性的度量能有效区分好的和不好的泛化性的局部最小值。他们没有解释，然而为什么SGD收敛到泛化性良好的局部最小值当也存在能够在训练集上表现很好的差的局部最小值。

为了解决这个问题，一个需要理解的是CIFAR-10的原始标签的主要特征，它和随机标签不一样，以及是如何通过SGD达到好的泛化性能的。在本文，我们通过在Fourier域来解决这个问题，在这里非随机的标签和随机标签表现截然不同。虽然通过少量测量恢复的信号具有良好的频谱特性，例如带宽限制，完全随机的随机过程没有带宽限制，也无法从有限数量的测量中恢复。

使用频谱分析，我们聚焦于表征基础分布的频谱特性，可以通过基于梯度的时间利用该特性来收敛到可泛化的局部最小值。我们针对具有正弦激活函数的两层神经网络解决了这个问题，其中我们发现如果标签有有限带宽和Fourier-norm。我们期望基于梯度的方法能够有好的泛化性表现。为了得到这个结果，我们首先发展了具有带宽限制且Fourier-norm的的基于Fourier的泛化界。然后，我们证明了由正弦激活函数的两层神经网络通过梯度下降法得到的局部最小值具有带宽有限和Fourier-norm，其范围取决于底层标记方案的频谱特性。

作为傅里叶分析的副产品，我们导出了具有一般激活函数的两层神经网络的泛化界。对于带宽有限有着有限傅里叶l1函数的激活函数例如正弦或者高斯激活函数，我们的界比仅仅使用激活函数的Lipschitz常数要紧。对于ReLU类型的激活函数，我们的泛化界和基于Lipschitz的界线可比；然而，这导致了Neyshabur导出的路径范数。我们因此称这种能力范数为群路径范数，可以用作累加惩罚来正则化具有ReLU激活的2层神经网络。我们的数值实验表明可以通过正则化组路径范数来有效缩小泛化差距。

基础

监督学习和泛化

假设我们给定n个样本独立同分布采样自。其中表示随机特征向量表示目标变量。使用这些个样本，监督学习者的目标是从函数空间找到一个预测准则,能从没见过的测试样本预测。因此，给定损失函数，监督学习想要找到最小化风险，定义为在真实分布下的均值。

然而，监督学习并不知道真实分布，只能接触到个训练样本。监督学习可以最小化经验风险，定义为并寻求。因为我们至观察到了有限多的样本，经验风险和真实风险是不一样的。泛化风险定义为和的真实风险和经验风险不一样。研究在不同函数空间的泛化风险表现和学习算法是统计学习理论的核心话题。

傅里叶变换和带宽有限函数

考虑一个实值函数。这个函数的傅里叶变换记为，定义为

一些重要的傅里叶变换的例子为：

• 正弦函数:，那么其中表示Dirac delta函数，也可以写成
  • ，那么
  • ，那么
• 高斯函数：，那么。因此，高斯函数的傅里叶变换保持高斯的形态。

函数称为如果对于的所有。最小的称为的bandwidth。我们使用记为函数的带宽。我们还使用来表示范数的傅里叶变换，

我们称为的傅里叶范数。傅里叶范数可以理解为傅里叶变换下的绝对值，是稀疏性的近似度量。傅里叶范数是缩放平移不变的，即如果我们定义对于实值函数和以及和一些，有。一些其它有用的傅里叶变换特性：

• ，如果是实且非负的那么有
• 平移：其中，且有和
• 导数：其中表示的梯度。
• 对称性：其中表示的共轭复数
• 卷积： 其中表示卷积操作，即。因此，且