哲哲的ML笔记（十七：神经网络中的代价函数）

作者: 沿哲 | 来源:发表于2021-04-04 10:41 被阅读0次

参数说明

神经网络的训练样本数目： $m$
输入：一组 $X$ ，展开为 $(x^1,y^1),(x^2,y^2), ……,(x^m,y^m)$
输出： $y$
神经网络的层数： $L$
第 $l$ 层的激活单元数量： $s_l$ ,下图中 $s_1=3,s_2=5,s_4=s_L=4$

将神经网络的分类定义为两种情况：二类分类和多类分类，对应输出 $y$
二分类时， $s_L=1, y=0/1$
多分类( $K$ )时， $s_L=k, y_i=1$ 表示分到第 $i$ 类

代价函数

逻辑回归中的代价函数
$J(\theta)=-\frac{1}{m}\sum_{i=1}^m[y^{i}log(h_\theta(x^{i}))+(1-y^{i})log(1-h_\theta(x^{i})) ]+\frac{\lambda}{2m}\sum_{j=1}^n\theta^{2}_j$
神经网络中的代价函数
$J(\theta)=-\frac{1}{m}[\sum_{i=1}^m\sum_{k=1}^Ky^{i}_klog(h_\theta(x^{i}))_k+(1-y^{i}_k)log(1-h_\theta(x^{i}))_k ]+\frac{\lambda}{2m}\sum_{l=1}^{L-1}\sum_{i=1}^{s_l}\sum_{j=1}^{s_{l+1}}(\theta^{l}_{ji})^2$
神经网络中的代价函数的正则化的那一项只是排除了每一层 $\theta_0$ 后，每一层的 $\theta$ 矩阵的和。最里层的 $j$ 循环循环所有的行（由 $s_{l+1}$ 层的激活单元数决定），循环 $i$ 则循环所有的列，由该层（ $s_l$ 层）的激活单元数所决定