使用transdormer来进行多变量时间序列分类。提出了GTN网络。
使用了双塔式 的transformer结构，这是因为在多变量的时间序列中，需要考虑不仅是step-wise（时间）还有channel-wise（空间）信息，之前的方法是使用卷积，感受野通过参数共享来结合step-wise和channel-wise的信息。
而这篇论文提出的双塔式的结构分别提取step-wise和channel-wise的信息。其中右边边的是step-wise的，左边是channel-wise的，因为channel的位置信息没有相对和绝对的关系，所以只在step-wise添加位置信息。
gating 的计算
这篇文章的可视化值得好好学习一下。
attention map以及DTW距离和欧式距离（L2距离）看相互关系。
可以看出DTW距离小不意味着两个序列更像。
这个图是可视化每个时间步的embedding。
一、背景 使用transdormer来进行多变量时间序列分类。提出了GTN网络。 二、模型 使用了双塔式 的tra...
GRU(Gated Recurrent Unit Recurrent Neural Networks) GRU 对...
2017 Gated Self-Matching Networks for Reading Comprehensi...
扫Switch Transformer论文中，作者提到了Product Key Networks。出自2019年末...
这几天在看Spatial Transformer Networks 空间变换网络，该网络的结构图如下所示，STN由...
Spatial Transformer Networks 尽管CNN网络定义了许多强而有力的模型，但是它仍被限制于...
理论 Neural Networks and Deep Learning Deep Learning - An M...
论文标题： Wireless Sensor Networks for Civil Infrastructure M...
代码：https://github.com/nv-tlabs/GSCNN/blob/master/network/...
本文标题：Gated Transformer Networks for M
本文链接：https://www.haomeiwen.com/subject/yolgultx.html
网友评论