目标：

1.什么是序列预测，以及与一般的预测模型问题的区别

2.多层感知机对序列模型的限制，循环神经网络可做的事情，以及LSTM如何实现

3.LSTM的经典应用，以及LSTM的一些局限性

目录：

1.1 序列预测问题

    1.1.1 序列

    1.1.2 序列预测

    1.1.3 序列分类

    1.1.4 序列生成

    1.1.5 序列到序列的预测

1.2 多层感知机的限制

1.3 循环神经网络的功能

1.4 长短期记忆网络（LSTM）

1.5 LSTMs的应用

1.6 LSTMs的限制

1.1序列预测问题

序列预测问题与监督学习问题不同，这些序列在训练模型和预测时强调结果的顺序。一般有序列数据的预测问题被称为序列预测问题。

4种不同序列预测问题：

（1）序列预测

（2）序列分类

（3）序列生成

（4）序列到序列的预测

1.1.1序列

序列与集合的不同。集合不强调顺序，序列强调顺序的重要性。

1.1.2序列预测

序列预测涉及对给定的输入序列预测下一个值，也可以称为序列学习。

Input Sequence: 1, 2, 3, 4, 5

Output Sequence: 6

序列预测问题的描述

序列预测包括：

（1）天气预报。鉴于随着时间的推移对天气的一系列观察，预测明天的天气。

（2）股市预测。给定安全性随时间的一系列移动，预测安全性的下一个移动。

（3）产品推荐。给定客户过去购买的序列，预测客户的下一次购买。

1.1.3序列分类

序列分类涉及预测输入序列的类标签。序列分类的目标是使用标记的数据集建立一个分类模型，这样模型可以用来预测下一个序列的类标签。

Input Sequence: 1, 2, 3, 4, 5

Output Sequence: "good"

序列分类问题的描述

序列分类问题包括：

（1）DNA序列分类。给定A,C,G,T值得DNA序列，预测该序列是用于编码区还是非编码区。

（2）异常检测。给定一个序列，预测序列是否异常。

（3）情感分析。给定一系列文本，如评论或推文，预测文本的情感是积极的还是消极的。

1.1.4序列生成

序列生成涉及生成一个新的具有相同特征的输出序列。

Input Sequence: [1, 3, 5], [7, 9, 11]

Output Sequence: [3, 5 ,7]

序列生成问题的描述

序列生成问题包括：

（1）文本生成。给定一组文本语料库，例如莎士比亚的作品，生成新的句子或文本段落，这些句子或段落可以从语料库提取出来。

（2）手写体预测。给定手写示例库，为新短语生成具有示例库中的手写属性的手写。

（3）音乐生成。给定一组音乐示例，生成具有示例属性的新音乐作品

（4）图像标题生成。给定图像作为输入，生成图像的单词序列。

Input Sequence: [image pixels]

Output Sequence: ["man riding a bike"]

序列生成问题中的给图像加标题

1.1.5序列到序列的预测

序列到序列的预测涉及给定输入序列预测输出序列。

Input Sequence: 1, 2, 3, 4, 5

Output Sequence: 6, 7, 8, 9, 10

序列到序列预测问题的描述

如果输入和输出是时间序列，则该问题可以称为多步时间序列预测。序列到序列问题包括：

（1）多步时间序列预测。给定一个时间序列，预测未来一些街时间步骤的结果序列。

（2）文本摘要。给定文本文档，预测描述源文档的显著部分的较短文本序列。

（3）程序执行。给定文本描述程序或数学方程预测描述争取输出的字符串序列。

1.2 多层感知机的限制

经典的神经网络称为多层感知机，MLPs，可以用于序列预测问题。