深度学习笔记—应用部分

[问题]

应用部分

1.语音识别

• 声学信号投影到说话人的词序列上

• 语音识别系统历史

1)隐马尔科夫模型和高斯混合模型的结合

2)受限玻尔兹曼机的无向概率模型

3)由因素识别 → 大规模词汇语音识别

• 创新点

1)卷积网络 → 时域和频域上复用了权重

2)深度循环神经网络

3)利用语音层级的信息排列声学层级的信息

2.自然语音处理

• 基于语言模型

定义了自然语言中的字、字符、字节序列的概率分布

基于词的语言模型

• 语言模型

1)n-gram模型

2)基于类的语言模型

3)神经语言模型

• 历史展望

1)从符号嵌入 → 词嵌入

2)对符号和词进行建模

3)神经语言模型