transformer scheduler 学习率预热：

model_size = 256

warmup_steps = 12000

factor = 1.0

$lr=factor \times model_size^{- \frac {1} {2}} \times min\{ step^{-\frac {1}{2}} ,step \times warmup\_ step^{-\frac {3}{2}} \}$

减小了全连接神经元个数，调整enc-dec 的blocks数
d_ff由2048减小到 1024 encoder-decoder 的blocks个数都改为4 num_works...
减小了enc-dec 的blocks数
将enc和dec的blocks分别改为6和3 模型参数个数由37301385 个减少到 19937673 个大...
CNN卷积神经网络
全连接神经网络在利用全连接神经网络进行图像分类时，网络中的神经元与相邻的层上的每个神经元均连接：输入层代表每个...
机器学习：卷积神经网络
和全连接神经网络的主要差别全连接神经网络：每个神经元的输入数据，都使用了上一层的所有神经元的输出数据，每个神...
复习
四则运算加减加定义：一个数加另一个数的数学运算。举例：2+3=5，1+1=2。减定义：一个数减另一个数...
一到六年级数学知识汇总
四则运算加减加定义：一个数加另一个数的数学运算。举例：2+3=5，1+1=2。减定义：一个数减另一个数...
5.1卷积神经网络（CNN）
全连接NN 每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。卷积卷积计算可认为...
深度学习——CNN（1）
前言：前面提到的神经元之间的连接都是全连接，当输入超多的时候全连接参数给定也会超多，计算太复杂，这样利用人观察事物...
排序算法之快速排序
快速排序步骤先从数列中取出一个数作为基准数。分区过程，将比这个数大的数全放到它的右边，小于或等于它的数全放到...
Gym - 100184A(博弈论)sg函数
构造sg函数，每个数减2或减3；构造sg函数就是每个数都要减2和减3取mex数组中最小的数。sg[0]=0; sg...