神经网络中为什么要随机初始化模型参数?

作者: AI秘籍 | 来源:发表于2020-04-21 20:40 被阅读0次

在神经网络中，通常需要随机初始化模型参数。
为什么需要这样做呢?

设有一个多层感知机模型，
假设输出层只保留一个输出单元O1，且隐藏层使用相同的激活函数。

如果将每个隐藏单元的参数都初始化为相等的值，那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值，并传递至输出层。

在反向传播中，每个隐藏单元的参数梯度值相等。
因此，这些参数在使用基于梯度的优化算法迭代后值依然相等。
之后的迭代也是如此。
在这种情况下，无论隐藏单元有多少，隐藏层本质上只有一个隐藏单元在发挥作用。

因此，通常对神经网络的模型参数，特别是权重参数进行随机初始化。
随机初始化模型参数的方法有很多，可以使用正态分布的随机初始化方式。

image.png

[注]
如果不指定初始化⽅法，如net.initialize()，MXNet将使⽤默认的随机初始化⽅法：
权重参数每个元素随机采样于-0.07到0.07之间的均匀分布，偏差参数全部清零。

参考:

网友评论

本文标题：神经网络中为什么要随机初始化模型参数?

本文链接：https://www.haomeiwen.com/subject/gcxmihtx.html