卷积神经网络

1. 信号的局部连接
2. 共享权重
   3.降采样
   4.多层网络结构

卷积神经网络的主要层次结构

1 卷积层：

卷积的输出被称作特征映射
卷积核共享权重
卷积神经网络具有稀疏交互性

2 池化层：

将邻域内语义相近的特征进行融合
常见池化操作： Max-pool Average-pool
当前一层特征组件发生位置变化或表现变化，降低当前层的表征变化

2-3个卷积层+非线性激活函数+池化层作为一个模块

一个模型含有多个这样的模块

卷积神经网络的反向传播计算和常规的深度神经网络计算一样简单

经典的卷积神经网络有：
LeNet AlexNet VGG GoogleNet ResNet DenseNet

经典的人脸识别：
FaceNet DeepFace SphereFace

循环神经网络

分布式特征表示： 发现数据之间的语义相似性

分布式特征表示

Word-embedding
将高纬词向量嵌入到一个低纬空间
用分布式特诊表示表示的较短词向量
较容易分析词与词之间的关系

Word2Vec:

1. 简化的神经网络
2. 输入是one-hot Vector
3. 隐藏层没有激活函数，是线性单元
4. 输出维度 = 输入维度 Softmax 回归
5. 训练后只需要隐层的权重矩阵
6. 分为 CBOW 和 Skip-gram 两种模型

word2Vec

RNN

适用于序列化输入，如语音和语言
一次处理一个输入序列元素
维护隐单元中的”状态向量“，这个向量隐式地包含过去时刻序列元素的历史信息
训练过程中反传梯度在每一个时刻会增长或下降，长时间迭代后会出现梯度爆炸或消失
一旦展开，可以把它当做一个所有层共享权值的前馈神经网络

RNN

LSTM
输入门 遗忘门 记忆单元 输出门
https://www.cnblogs.com/bonelee/p/7715131.html

无监督学习

其实平时用的很多，只是不知道而已哈哈

无监督学习

强化学习

通常用马尔科夫决策过程来描述
待学。。。

GAN

生成器和鉴别器