多样本向量化（Vectorizing across multiple examples）
在上一个笔记中，了解到如何针对于单一的训练样本，在神经网络上计算出预测值。
在这篇笔记中，将会了解到如何向量化多个训练样本，并计算出结果。
该过程与你在逻辑回归中所做类似（看过的是否还记得？？）
逻辑回归是将各个训练样本组合成矩阵，对矩阵的各列进行计算。神经网络是通过对逻辑回归中的等式简单的变形，让神经网络计算出输出值。这种计算是所有的训练样本同时进行的，以下是实现它具体的步骤：
上一篇笔记中得到的四个等式。它们给出如何计算出z^([1])，a^([1])，z^([2])，a^([2])。
对于一个给定的输入特征向量X，这四个等式可以计算出α^([2])等于y^。
这是针对于单一的训练样本。如果有m个训练样本,那么就需要重复这个过程。
用第一个训练样本x^([1])来计算出预测值y^([1])，就是第一个训练样本上得出的结果。
然后，用x^([2])来计算出预测值y^([2])，循环往复，直至用x^([m])计算出y^([m])。
用激活函数表示法，如上图左下所示，它写成a^([2](1))、a^([2](2))和a^([2](m))。
【注】：a^([2](i))，(i)是指第i个训练样本而[2]是指第二层。
如果有一个非向量化形式的实现，而且要计算出它的预测值，对于所有训练样本，需要让i从1到m实现这四个等式：
对于上面的这个方程中的^(i），是所有依赖于训练样本的变量，即将(i)添加到x，z和a。如果想计算m个训练样本上的所有输出，就应该向量化整个计算，以简化这列。
本课程需要使用很多线性代数的内容，重要的是能够正确地实现这一点，尤其是在深度学习的错误中。实际上本课程认真地选择了运算符号，这些符号只是针对于这个课程的，并且能使这些向量化容易一些。
所以，希望通过这个细节可以更快地正确实现这些算法。接下来讲讲如何向量化这些： 公式1：
公式2：
公式3：
公式4：
前一张中的for循环是来遍历所有个训练样本。 定义矩阵X等于训练样本，将它们组合成矩阵的各列，形成一个n维或n乘以m维矩阵。接下来计算见公式4：
以此类推，从小写的向量x到这个大写的矩阵X，只是通过组合x向量在矩阵的各列中。
同理，z^([1](1))，z^([1](2))等等都是z^([1](m))的列向量，将所有m都组合在各列中，就的到矩阵Z^([1])。
同理，a^([1](1))，a^([1](2))，……，a^([1](m))将其组合在矩阵各列中，如同从向量x到矩阵X，以及从向量z到矩阵Z一样，就能得到矩阵A^([1])。
同样的，对于Z^([2])和A^([2])，也是这样得到。
这种符号其中一个作用就是，可以通过训练样本来进行索引。
这就是水平索引对应于不同的训练样本的原因，这些训练样本是从左到右扫描训练集而得到的。
在垂直方向，这个垂直索引对应于神经网络中的不同节点。
例如，这个节点，该值位于矩阵的最左上角对应于激活单元，它是位于第一个训练样本上的第一个隐藏单元。它的下一个值对应于第二个隐藏单元的激活值。它是位于第一个训练样本上的，以及第一个训练示例中第三个隐藏单元，等等。
当垂直扫描，是索引到隐藏单位的数字。
当水平扫描，将从第一个训练示例中从第一个隐藏的单元到第二个训练样本，第三个训练样本……直到节点对应于第一个隐藏单元的激活值，且这个隐藏单元是位于这m个训练样本中的最终训练样本。
从水平上看，矩阵A代表了各个训练样本。
从竖直上看，矩阵A的不同的索引对应于不同的隐藏单元。
对于矩阵Z，X情况也类似，
水平方向上，对应于不同的训练样本；
竖直方向上，对应不同的输入特征，而这就是神经网络输入层中各个节点。
神经网络上通过在多样本情况下的向量化来使用这些等式。
向量化实现的解释（Justification for vectorized implementation）
在上面，我们学习到如何将多个训练样本横向堆叠成一个矩阵X，然后就可以推导出神经网络中前向传播（forward propagation）部分的向量化实现。
我们将会继续了解到，为什么上面写下的公式就是将多个样本向量化的正确实现。
我们先手动对几个样本计算一下前向传播，看看有什么规律：
公式5：
这里，为了描述的简便，我们先忽略掉 b^([1])后面你将会看到利用Python 的广播机制，可以很容易的将b^([1]) 加进来（这个可以理解为只有wx项）。
现在 W^([1]) 是一个矩阵，x^(1),x^(2),x^(3)都是列向量，矩阵乘以列向量得到列向量，下面将它们用图形直观的表示出来: 公式6：
视频中，吴恩达老师很细心的用不同的颜色表示不同的样本向量，及其对应的输出。所以从图中可以看出，当加入更多样本时，只需向矩阵X中加入更多列（记得上面写的竖直看代表什么？）。
所以从这里我们也可以了解到，为什么之前我们对单个样本的计算要写成 z^([1](i))=W^([1]) x^((i))+b^([1]) 这种形式，因为当有不同的训练样本时，将它们堆到矩阵X的各列中，那么它们的输出也就会相应的堆叠到矩阵 Z^([1]) 的各列中。
现在我们就可以直接计算矩阵 Z^([1]) 加上b^([1])，因为列向量 b^([1]) 和矩阵 Z^([1])的列向量有着相同的尺寸，而Python的广播机制对于这种矩阵与向量直接相加的处理方式是，将向量与矩阵的每一列相加。
所以这一节只是说明了为什么公式 Z^([1])=W^([1]) X+ b^([1])是前向传播的第一步计算的正确向量化实现，但事实证明，类似的分析可以发现，前向传播的其它步也可以使用非常相似的逻辑，即如果将输入按列向量横向堆叠进矩阵，那么通过公式计算之后，也能得到成列堆叠的输出。
最后，对这一段内容做一个总结:
由公式1、公式2、公式3、公式4可以看出，使用向量化的方法，可以不需要显示循环，而直接通过矩阵运算从X就可以计算出 A^([1])，实际上X可以记为 A^([0])，使用同样的方法就可以由神经网络中的每一层的输入 A^([i-1]) 计算输出 A^([i])。其实这些方程有一定对称性，其中第一个方程也可以写成Z^([1])=W^([1]) A^([0])+b^([1])，你看这对方程，还有这对方程形式其实很类似，只不过这里所有指标加了1。所以这样就显示出神经网络的不同层次，你知道大概每一步做的都是一样的，或者只不过同样的计算不断重复而已。
这里我们有一个双层神经网络，我们在后面的笔记里会讲深得多的神经网络，你看到随着网络的深度变大，基本上也还是重复这两步运算，只不过是比这里你看到的重复次数更多。在下周的视频中将会讲解更深层次的神经网络，随着层数的加深，基本上也还是重复同样的运算。
以上就是对神经网络向量化实现的正确性的解释，到目前为止，我们仅使用sigmoid函数作为激活函数，事实上这并非最好的选择，在下一篇笔记中，将会继续深入的讲解如何使用更多不同种类的激活函数。
下一篇就是讲解神经网络的激活函数了，这个很重要哦，记得过来看！
网友评论