LSTM

LSTM是Long short-term Memory的缩写，直接翻译就是长短期记忆网络。循环神经网络的好处在于可以有记忆性，通过增加一个自反馈的连接，神经元当前的状态是由输入和神经元上一个状态共同决定的，这就是记忆的解释。但是这种结构有一个不好的地方，在于间隔较长时间的状态对后续状态没有影响，假设神经元上一状态对现在的状态影响是0.9，那么神经元上上一状态对现在状态影响就只有0.81了，以此类推，间隔了很长时间之后，这些影响都会消失。但在实际运用中，有些有用的信息虽然间隔很长，但是依然需要被记住，这就需要神经元具有长时间的记忆，LSTM就是通过构建一种记忆单元来保证这些信息被保留。

循环神经网络

循环神经网络展开之后

LSTM具有记忆单元，这个单元决定输入的信息哪一些需要被遗忘，哪一些需要被记住。详细内容可以见参考资料

LSTM单元

LSTM结构

LSTM具体公式

LSTM构建Autoencoder

Autoencoder中文意思是自动编码器，其主要的思想类似于PCA。通过神经网络将原始数据映射到一个低维空间（也可是高维稀疏），从低维空间再重构原始数据。因为特征空间的维度是低于原始数据的，所以特征具有某些意义，类似于PCA中主成分。
时间序列数据通过LSTM映射到了一组特征向量之中，然后另外一个LSTM从特征向量中将时间序列数据重新重构出来。

Autoencoder with LSTM (return_sequence = FALSE)

这里用keras来编写代码，由于encoder的输出仅仅是一个向量（因为输出选择return_sequence = FALSE），所以需要RepeatVector来补齐decoder需要的输入，然后输出选择序列输出，得到我们重构的变量

    from keras.layers import Input, LSTM, RepeatVector
    from keras.models import Model

    inputs = Input(shape=(timesteps, input_dim))
    encoded = LSTM(latent_dim)(inputs)

    decoded = RepeatVector(timesteps)(encoded)
    decoded = LSTM(input_dim, return_sequences=True)(decoded)

    sequence_autoencoder = Model(inputs, decoded)
    encoder = Model(inputs, encoded)

    sequence_autoencoder.compile(optimizer = "sgd", loss = "mean_squared_error",metrics=['accuracy'])

    # train
    np.random.seed(5)
    history = sequence_autoencoder.fit(normal_scale, normal_scale,epochs = 5000, batch_size = 128, shuffle =True)

Autoencoder with LSTM (return_sequence = True)

当然也可以直接设定encoder的输出为序列，此时输出的序列为encoder每一个状态下的输出，也就是LSTM单元图中的[h_t-1, h_t,h_t+1]，所以这个时候就不需要RepeatVector了

    from keras.layers import Input, LSTM, RepeatVector
    from keras.models import Model

    inputs = Input(shape=(timesteps, input_dim))
    encoded = LSTM(latent_dim)(inputs)

    decoded = LSTM(input_dim, return_sequences=True)(encoded)

    sequence_autoencoder = Model(inputs, decoded)
    encoder = Model(inputs, encoded)

    sequence_autoencoder.compile(optimizer = "sgd", loss = "mean_squared_error",metrics=['accuracy'])

    # train
    np.random.seed(5)
    history = sequence_autoencoder.fit(normal_scale, normal_scale,epochs = 5000, batch_size = 128, shuffle =True)

Bidirection RNN

对于一些语言类的问题来说，当前的状态不仅仅与之前的句子有关系，可能还与之后的句子有关系，所以在建立模型的时候有必要考虑前后的信息，这样子一个双向的RNN就显得有必要了。模型有两个RNN，一个RNN输入的是正序的序列，另外一个RNN输入的是倒序的序列，最后将两个RNN的输出整合在一起，得到最终输出。根据这个思路也可以建立Bidirection RNN。