3.1 概论
-
逻辑回归
中间层的隐藏单元中的计算
- 首先你需要输入特征 x,参数W 和b ,通过 z = w^t * x + b T 你就可以计算
出 z ,接下来使用 a = a(z) 就可以计算出a。我们将a的符号换为表示输出的 ŷ,然后可以计算出损失函数ℒ(a,y)。
-
基本神经网络结构
- 首先 X 表示输入特征,W 和 b 是参数,z1 = Wx + b1计算出 z1。
- 使用x^(i)表示第 i 个训练样本,上标方括号 1、2 表示不同的层,图中[1]表示神经网络的第一层, [2]表示神经网络的第二层 。
- 类似逻辑回归,在计算z^[1] 后需要使用σ(z^[1])计算 a^[1],接下来你需要使用另外一个线
z^[2] = W^[2] * a^[1] + b^[2]计算 z^[2], a^[2] = σ(z^[2]) 计算a^[2] ,此时a^[2] 就是整个神经网络最终的输出,用 𝑦表示网络的输出。
- 反向计算
3.2 神经网络表示
- 神经网络的符号惯例:
x 表示输入特征
a 表示每个神经元的输出, w 表示特征的权重,
上标表示神经网络的层数(隐藏层为 1),下标表示该层的第几个神经元。 - 结构
- 输入层
- 隐藏层(很好解释了之前在第一章的疑惑):在一个神经网络中,当你使用监督学习训练它的时候,训练集包含了输入 也包含了目标输出 ,所以术语隐藏层的含义是在训练集中,这些中间结点的准确值我们是不知道到的,也就是说你看不见它们在训练集中应具有的值。你能看见输入的值,你也能看见输出的值,但是隐藏层中的东西,在训练集中你是无法看到的。所以这也解释了词语隐藏层,只是表示你无法在训练集中看到他们。
- 简单点说,隐藏层就是把中间处理的过程隐藏起来而没有显性显示出来。
- 输出层
- 数据表示
- 隐藏层以及最后的输出层是带有参数的,参数个数与隐藏层单元/节点有关
- 传统上(两层的神经网络):输入层是不算入总层数内,所以隐藏层是第一层,输出层是第二层。
- 技术上(三层的神经网络):因为这里有输入层、隐藏层,还有输出层。
3.3 神经网络的输出
中间的求导过程四个方程求神经网络
- 注:z代表隐藏层,这里有两个隐藏层
3.4 多样本向量化
- 多个训练样本,则重复计算每个样本的4个方程(for循环)
-
利用向量化简化该过程
- 水平方向,这个垂直索引对应于神经网络中的不同的训练样本。
- 垂直方向,这个垂直索引对应于神经网络中的不同节点。
网友评论