随机初始化
将所有θ权重初始化为零不适用于神经网络。
初始化为零
具体来说，以上问题叫做对称现象。所以，初始化也被称作打破对称。所以我们进行初始化的操作目的就是打破对称，而初始区间就是在特定范围内是一种我们用的标记。 所以，权值参数 将会在这个范围内生成。
当我们反向传播时，所有节点将重复更新为相同的值。 相反，我们可以使用以下方法随机初始化\ThetaΘ矩阵的权重：
随机初始化，打破对称
（注意：上面使用的epsilon与Gradient Checking中的epsilon无关）
网友评论