2018-12-20 神经网络成本函数

成本函数

K =输出单元/类的数量。在神经网络中，我们可能有许多输出节点，我们用表示一个假设函数，是产生第k个输出的假设函数。我们对神经网络的成本函数将是我们用于逻辑回归的概括。

神经网络（分类问题） 神经网络成本函数

添加了一些嵌套的求和来计算我们的多个输出节点。 在等式的第一部分中，在方括号之前，我们有一个额外的嵌套求和，它循环输出节点的数量。

在正则化部分中，在方括号之后，我们必须考虑多个θ矩阵。 当前theta矩阵中的列数等于当前层中的节点数（包括偏置单元）。 当前theta矩阵中的行数等于下一层中的节点数（不包括偏置单元）。 与逻辑回归一样，我们对每个项都进行平方。

注意：

双和只是简单地计算输出层中每个单元格计算的逻辑回归成本

三重和简单地将整个网络中所有单个Θ的平方相加。

三和中的i不是指训练例子i