lesson4

1、语言模型在NLP领域有非常特殊的意义，语言模型对句子中下一个将要出现的词做预测

2、embedding是一个权重矩阵，可以查找并抽查其中任意一行得到一个向量

3、激活值就是矩阵相乘或者激活函数的计算结果，参数就是权重矩阵的数值 神经网络

4、万能近似定理即如果你有足够大的权重矩阵，而且矩阵数量足够多，神经网络就足以在任意高精度下来近似任意复杂的数学函数

5、Resnet的最后一个权重矩阵有1000列，分别是1000中类别，ImageNet的目标向量长度就是1000，要做的就是从1000个类别中挑选和物体对应概率更高的类别

6、用fastai做迁移学习创建Resnet-30卷积神经网络时，fastai库删除了最后的那个权重矩阵，添加了两个新的权重矩阵，权重矩阵之间有Relu函数做激活函数，第一个权重矩阵的尺寸由前面的网络决定，第二个权重矩阵的尺寸由需求决定 ，模型前面的层已经训练好，能直接用，因此使用freeze冻结前面层的权重矩阵，在训练时，不论训练多少epoch，当调用fit函数时，不做冻结层权重矩阵的反向传播，只对两个新加的层进行训练，训练速度也会更快

7、训练一段时间后，如果发现训练结果还不错，就应该训练剩余的网络了，于是先解冻之前冻结的层，就可以训练整个网络了，应该意识到在网络最后新添加的几层，很可能需要更多的训练，而在网络的前几层，比如用于识别对角线，很可能根本不需要过多的训练，因此可以将模型分成几部分，对不同的部分设置不同的学习率，这个过程叫做判别学习率，fastai使用fit(1,slice(1e-5,1e-3))来实现，fastai会将各神经层进行分组，具体而言就是将新添的随机生成的层作为一个层组，剩下的层分成两个层组，所以默认一个CNN至少会有三个层组相应的学习率为(1e-5,1e-4,1e-3)