RNN Layer

本文为转载，原文链接: https://wmathor.com/index.php/archives/1392/

一个 RNN Layer 如下图所示

假设 x 的 shape 是 [10, 3, 100]，翻译一下就是，10 个单词，每次训练 3 句话，每个单词用一个 100 维的 tensor 来表达

接着再看上面的运算过程，其中hidden len就是memory的维度，假设是20。因此：

nn.RNN

用代码定义一个RNN Layer，然后查看其参数信息

import torch
import torch.nn as nn

rnn = nn.RNN(100, 20)
print(rnn._parameters.keys())
print(rnn.weight_ih_l0.shape) # w_{xh} [20, 100]
print(rnn.weight_hh_l0.shape) # w_{hh} [20, 20]
print(rnn.bias_ih_l0.shape) # b_{xh} [20]
print(rnn.bias_hh_l0.shape) # b_{hh} [20]

解释上面的代码前先看一下 PyTorch 中 RNN 类的参数（参考于 PyTorch 官网 RNN API）

• 必选参数input_size，指定输入序列中单个样本的尺寸大小，例如可能用一个1000长度的向量表示一个单词，则input_size=1000
• 必选参数hidden_size，指的是隐藏层中输出特征的大小
• 必选参数num_layers，指的是纵向的隐藏层个数，一般设置为1~10，default为1

现在上面的代码就很好理解了，nn.RNN(100, 20) 中 100 指的是用一个长度为 100 的向量表示一个单词，20 指的是 hidden_size

RNN 的 forward 函数与 CNN 定义的方式有点不太一样，具体见下图

参数中的不是，而是直接把带进去。如果不写则默认是0，否则的维度应该为

看下代码

import torch
import torch.nn as nn

rnn = nn.RNN(input_size=100, hidden_size=20, num_layers=1)
x = torch.randn(10, 3, 100)
out, h_t = rnn(x, torch.zeros(1, 3, 20))
print(out.shape) # [10, 3, 20]
print(h_t.shape) # [1, 3, 20]

每个地方参数的 shape 都是有关联的，必须要把上面的内容看懂了才能理解。
和很容易搞混，先看一个2层的RNN模型

在解释和之前要先理解一个概念 —— 时间戳，时间戳是指左右而不是上下，什么意思呢，就是上图是一个两层的 RNN，假设这两层的 RNN 右边分别又各接一层，那这样的左右结构就是时间戳，基于此，给出和 的定义：

• : 最后一个时间戳上面所有的memory状态
• : 所有时间戳上的最后一个memory状态
  而第几个 memory 是针对层来说的，比方说第一层的 memory 就是第一个 memory，最后一层的 memory 就是最后一个 memory。

下面这张图可以帮助理解，红色框是，蓝色框是

看下代码

import torch
import torch.nn as nn

rnn = nn.RNN(input_size=100, hidden_size=20, num_layers=4)
x = torch.randn(10, 3, 100)
out, h_t = rnn(x)
print(out.shape) # [10, 3, 20]
print(h_t.shape) # [4, 3, 20]

如果理解了上面和的 shape，这里的输出也就不难想到了。
上面nn.RNN()的定义方式是直接把整个输入，自动完成循环。下面再介绍一种定义RNN的方式，需要手动完成循环。

nn.RNNCell

先看一下 PyTorch 的官方 API

参数和 nn.RNN 大体相似，但是注意 input_size 的 shape 是 (batch, input_size)，而且 hidden_size 的 shape 也是 (batch, hidden_size)，这就导致 forward 也不一样

看下代码

import torch
import torch.nn as nn

cell1 = nn.RNNCell(100, 20)
x = torch.randn(10, 3, 100)
h1 = torch.zeros(3, 20)
for xt in x:
    h1 = cell1(xt, h1)
print(h1.shape) # [3, 20]

上面就就是一层的 RNN，用 RNNCell 的方式，手动循环进行训练

下面在看一个两层的 RNN，用 RNNCell 的方式怎么做

import torch
import torch.nn as nn

cell1 = nn.RNNCell(100, 30) # 100 -> 30
cell2 = nn.RNNCell(30, 20)
x = torch.randn(10, 3, 100)
h1 = torch.zeros(3, 30)
h2 = torch.zeros(3, 20)
for xt in x:
    h1 = cell1(xt, h1)
    h2 = cell2(h1, h2)
print(h2.shape) # [3, 20]

第一层的作用是将一个 100 维的输入变为 30 维的 memory 输出，然后将输出带入到第二层，第二层的输出是一个 20 维的 memory。最重要的代码是 for 中的两句话，第一层的输入是 和 memory ，第二层的输入是第一层的 memory ，以及第二层的 memory