序列模型

第一周 循环序列模型

目前还是使用one-hot的方法来做~

为什么不适用标准的神经网络呢？原因有以下几点：

它不仅根据现在的输入决定输出，而且根据之前的输入决定输出。但是这样的单向只利用了之前的信息，没利用后面的信息。所以，会在后面的双向RNN中介绍~

前向传播

反向传播：

有很对序列模型 输入和输出维度不一样，

多对多的里面机器翻译，提到了Attention模型，还有上周师兄讲过的transformer模型

用RNN建立一个语言模型，a little abstract：

采样   从RNN中随机选择

还可以用基于字符的语言模型。优点是不会出现mau这种UNK词汇，缺点是计算负担重，难以捕捉词汇间的关系

如何解决梯度消失问题，还有梯度爆炸问题也存在。深层的RNN难以捕捉深层次的长期依赖

GRU（gated recurrent unit）

可以更好捕捉长期依赖~

LSTM（long short term memory）长短期记忆网络【闲时看了下Wang的个人主页，发现人与人真是云泥之别，不再确定自己是否真的适合这一行。哎。】增加了遗忘门和更新门，并且和GRU不同的是，a和c视作是不同的值。

GRU：结构更简单点，更能够创建大点的网络，计算更大 LSTM更强大灵活

双向循环神经网络

Deep RNNs:一般三层就OK了

第二周 自然语言处理与词嵌入

Word representation：one-hot，使用这样的方法不能捕捉词和词之间的联系，因为它们内积都是0。使用词嵌入可以用特征来表示两个词，可以使用TSNE来将300维的向量可视化。

NLP and word embedding：可以使用迁移学习，把网上学好的词典的数据拿来用

和图像识别的不同：图像可以是未知的图片，而词向量是有固定的词表的

词嵌入的特性：实现类比推理。计算向量距离

计算相似度的：

嵌入矩阵：通过E与one-hot向量相乘，得到最终的300维的表示。

学习词嵌入：

word2Vec:

负采样：

Glove词向量：最小化这个函数

情感分类：将embedding加起来，但是左下角的不使用，所以要使用RNN，来捕捉not good这种思想。

词嵌入除偏：

第三周：序列模型和注意力机制

序列模型作机器翻译和图像描述

机器翻译可以看作是条件语言模型：找到可能性最大的序列

贪心算法并不适用

定向搜索：考虑多种结果

改进定向搜索：长度归一化，上面的损失函数倾向于短句子

束搜索的误差分析：判断是RNN模型出错了，还是束搜索出错了

Bleu score（bilingual evaluation understudy 双语评估houbu）:用来衡量一个语言翻译结果的准确性，因为通常有多种结果

为了惩罚太短的翻译结果：BP

Attention模型直观理解：That's it,Attention!

注意力模型：

语音识别

触发字检测：

At last 这是deep learning的开始，不是结束。接下来我将完成课程配套的quiz以及编程练习并将代码放在我的GitHub主页上~