The Expressive Power of Neural N

Lu Z, Pu H, Wang F, et al. The expressive power of neural networks: a view from the width[C]. neural information processing systems, 2017: 6232-6240.

@article{lu2017the,
title={The expressive power of neural networks: a view from the width},
author={Lu, Zhou and Pu, Hongming and Wang, Feicheng and Hu, Zhiqiang and Wang, Liwei},
pages={6232--6240},
year={2017}}

概

Universal approximation theorem-wiki, 这个定理分成俩个部分, 第一个部分是Unbounded Width Case, 这篇文章是Bounded Width Case (ReLu网络).

主要内容

定理1

在这里插入图片描述

另外, 定理1中的网络由若干个(视而定) blocks排列而成, 每个block具有以下性质:

• depth: 4n+1, width: n+4 的神经网络
• 在一个范围外其“函数值”为0
• 它能够存储样本信息
• 它会加总自身的信息和前面的逼近信息

定理2

在这里插入图片描述

定理3

在这里插入图片描述

定理4

在这里插入图片描述

定理1的证明

因为主要关注定理1, 所以讲下这个部分的证明(实际上是因为其它懒得看了).

假设为输入, 是可积的, 对于任意的, 存在满足

定义下列符号:

在这里插入图片描述

则我们有:

对于, 既然是可测的(且测度小于), 则我们能找到有限个维的矩体去逼近(原文用了cover, 但是我感觉这里用互不相交的矩体才合理), 并有

不出意外应该就是\.

假设有个, 且

在这里插入图片描述

每一个对应一个指示函数:

则

在这里插入图片描述
这个在实变函数将多重积分, 提到的下方图形集有讲到.
于是我们有(然后拆开来就可以得到不等式)
在这里插入图片描述

现在我们要做的就是通过神经网络拟合去逼近, 使得

在这里插入图片描述 在这里插入图片描述

现在来讲, 如果构造这个神经网络:

在这里插入图片描述

一个block有4n+1层, 每层的width是n+4, 注意到所有层的前n个Node都是一样的用来保存样本信息. 我们用 表示第个Unit(每个Unit有4层)的第层的第个Node.

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意: 应该是, 最开始的结构图中的对的. 我们来看一下, 什么样的, 会使得不为0.

如果, 这里是一个任意小量, 和上文中的没有关系. 此时(当)

当足够小的时候

此时, 类似地, 可以证明, 当的时候, 时, , 否则为0.

的定义是类似的, 只是

可以证明, 当, 且的时候, , 这样我们就构造了一个指示函数, 如果这个这函数对应的为1则将存入n+1 Node, 否则 n+2 Node (实际上, 我感觉应该存的是), 则

在这里插入图片描述

这里相当于. 所以多个blocks串联起来后, 我们就得到了一个函数, 且这个函数是我们想要的.

在这里插入图片描述
在这里插入图片描述
这个直接通过超距体体积计算得来的, 我们只需要取:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最后
令，便有
在这里插入图片描述
此即定理1的证明.