3.11* 一个困难的插曲
需要注意的是，神经网络下的深度学习，很多时候使用的激活函数虽然是非线性的，但实际参数数目和线性映射是一样的。这样的非线性映射默认多项式映射源自于线性映射，即这种非线性映射实际上的核心还是线性映射。
虽然目前的神经网络已经十分强大。但是算法根源并没有太多的进步，虽然参数拟合以及更多的神经节点可以弥补一部分不足，但过拟合以及“只见树叶不见森林”的弱点仍然十分明显。所以现在很多生成对抗算法能够欺骗神经网络，甚至让神经网络得出人类看来是极为愚蠢的错误预测。
要让神经网络更加强大，其实在映射的算法根源就应该重新设计。这一点很多计算机科学家都已经认识到了。多项式非线性映射应该要真正独立发挥其作用而不是简单地使用线性映射的单参数推广。
比如：特征 映射到隐藏层
的映射函数是：
这是一个典型的sigmoid映射，它实际上也是一个线性参数映射。这个映射的核心是：
它是一个线性函数。对于每一个特征，都有唯一的参数与之相乘。比如 。 这种类型的映射叫做单参数映射。(3.6)式就是一个典型的单参数映射。
什么是多项式映射呢？
比如如下的一个映射： 它就是一个齐次二项式映射，其中所有的系数都是独立的，也即彼此之间没有内在的联系。
这样的映射自由度极大，带来的参数空间维数很高，像上面的例子中的参数空间有6维，如果使用单参数映射，则最多只有3维。但它也有好处，它对特征的耦合限制很高，最高次幂只限制到二阶。在这种情况下，它会忽略所有的高阶修正，虽然参数变多了，但它不容易造成算法的过拟合。
实际上，如果定义对称多项式如下： 那么到二阶对称多项式的映射可以写成：
它关于
是交换对称的。这样的映射参数为4维，正好处于单参数映射和齐次多项式映射的中间。它兼具两者的优势，既不会过拟合，也不会参数爆炸。它预设了拟合的对象中有一定的对称结构，所以它的拟合速率会非常快。各方面来看，对称多项式映射是比较好的算法映射。
本节的讨论涉及到很多前沿的算法研究，如果觉得深奥难懂，可以暂时略过。但始终需要记住一点，目前的神经网络算法是非常初等和简单的，它的强大来自于数据量和算力的膨胀，而不是算法的先进。
网友评论