cost function

第一节就是介绍都有多个输出的时候的神经网络cost function。嗯，需要复习的是上一节j表示的是神经网络的层数，i表示的是在这一层里面的单元数。
这一节用l表示神经网络的层数，表示该层的单元数。之前的output unit都是二元的，然后现在是大于二也就是三以及三以上的输出的时候，我们把这些输出的单元数记作。
然后就可以写出它的cost function。
logistic regression的cost function就是对于m个instance做累加。
当instance的output unit变成k个时，对于每一个instance，还要对它的k个output unit做累加。cost function的主干部分还是一样的。
另外的就是regularize部分。
在logistic regression里面，需要regularize的是参数theta，就是把theta1到thetan的平方后相加。
这里相当于有l个theta矩阵，分别把里面的所有元素都平方相加。

Backpropagation Algorithm

第二节就是要求cost function的最小值。如何求cost function的最小值，首先要求它对theta的偏导。因为现在它不是l个i j的矩阵吗，所以好像要对其中的每一个ij元素求偏导。
激励值（表示第l层的第j个单元的激励值，这里从最后一层开始算起，即最后的一层output unit的第j个单元）
误差项

算出来最后一层的delta之后，就可以开始计算前面几层的delta。
后面那一个公式我没有看懂。但是我看懂了这个反向传播的步骤，其实就是逐层的回退一个一个的去算，计算每一层每一个单元的误差项，然后把这些误差项项加起来，计算它的cost函数。因为在前向传播的时候，他一层一层往前推的时候是没有办法在一边进行的时候，一边计算它的误差项的，一定要等到他最后的结果有了计算出来了之后，才可以去计算它的误差。
i行j列
i是第j+1层的单元数
j是j层的单元数+1

Intuition

第三节讲的是反向传播算法的直觉理解。
然后这个理解呢，它是把反向传播和前向传播进行了一个对比，之前的前向传播就是，后面一个单元的值等于前面一层的单元乘以权值；这里的是把反向的单元，它的值就等于后面一层的误差乘以权值。
这里我就有点不理解了，不过不用太理解，直觉一下啊。
哇塞这节感觉迷迷糊糊啥也没听懂但是满分quiz欸。