Resnet
-
深度神经网络真的是网络层数越多好吗?
image.png
-
过多的层不一定会带来更好的效果,因此何凯明提出了Resnet。针对深层的网络中一些是有作用的一些是没有作用的,通过残差连接可以降低无效网络层的权重,从而减少对结果的影响。
image.png
image.png
RNN


Transformer (VIT)
-
位置编码和patch序列计算
image.png

transformer的感受野更加大,更容易获取全局信息,缺点是吃数据。
-
如何做图像的位置编码?
image.png
这个结论只针对于分类任务。
TNT
-
外部transformer就是原始的,内部的是针对每个patch进行超像素划分。
image.png


网友评论