MachineLearninginMarketing
感谢李宏毅老师的分享
每一个隐藏层在时序上不同时间点输入都会接受上一次隐藏层所保存值作为输入来影响这一次的输出。其实这里有一个 hidden state，也就是我们每一次更新输出而且更新状态。
图
图
在RNN我们一般采用 tanh 而不是像 CNN 会采用 sigmoid 作为激励函数。在 RNN 而且方程多了一个数值。
循环神经网络可以是双向的，我们通常是从句首读到句尾，将句子每一个词汇作为输入到神经网中。不过我们可以是从句尾读句首将读取方向反过来。
双向循环神经网络的好处就是输出会看到范围比较广。假设我们只有单向(也就是正向）神经网络当我们在 x(t+1)输出时候，这时候输出只是读取了 xt 的数据，而在双向循环神经网则不同，他已经读取整个句子，无论在哪一点输出都已经读取了整个句子。
图
图
图
LSTM
说到存储，我们今天介绍是当下比较流行的 LSTM。
当我们数据要写入到存储器里，首先需要要经过一个筛选器（Input Gate），随来控制筛选器呢？这里是由其他神经元以信号形式来控制筛选器(input Gate)是否时候接收并存储数据，什么时候拒绝存储数据。即使是由神经元来控制及表示控制筛选器这件事也是神经网自己学习到的。
图
其神经元是否可以从存储器中获取值也是受到控制（Output Gate）来进行控制的。这个筛选器一样，也是由神经网通过学习来控制何时输出的。到现在为止感觉有点意思了。
图
有了记忆我们这里还有忘掉的一些数据，这就是由 Forget Gate 来控制，这是也是神经网自己学来控制核何时忘记数据或是格式化数据。
图
其实我们可以看出这个存储器是有 4 输入和一个输出，其中三个是控制存储器行为的信号数据。
图
网友评论