SPN 是空间线性变换的网络结构,应用在物体识别或者分类中对目标物体进行校正,或者3D物体的空间旋转。
![](https://img.haomeiwen.com/i13662385/60fe57b4c1e2f7f6.png)
我们看一下其网络结构
![](https://img.haomeiwen.com/i13662385/eed4a41bbf8f9523.png)
Localisation net:其实是一个参数生成的网络,关于变换的参数
Grid generator:利用生成的变换参数,将本地生成的网格进行变换,并转移网格点上的值。如果是2D的图像U,本地生成2D grid(比如meshgrid(1:640,1:480)), 然后对没一个pixel(x,y)进行转换得到在V上对应的位置(x',y'),然后通过论文提出的max operation(需要去看论文,类似于插值操作,这个可以自己定义不同的核函数)得到对应的值,从而计算loss.
基于别人的代码,我写了一个3D Spatial Transformation Net, 有需要的可以通过邮箱联系我hulan@shanghaitech.edu.cn
网友评论