HAN
hierarchy指的是两层--word层和sentence层，模型很简单，想法很自然
细节：
预处理中过滤掉词频小于5的词用UNK取代，embedding层采用预训练的word2vec权重。
embedding_size设置为200，rnn_size为50（由于是双向故实际为100），rnn到的attention激活函数为tanh。
评估结果：
Evaluation
总结：
rnn结构更多地阐述一种远近邻连接关系，但没有告诉我们对某一个task来说连接中那些部分比较重要，而attention机制很好地解决了这个问题。对于长文本来说，不止一句话内有重要的词，一段之内也有重要的句子，这就是hierarchial attention设计的基本思想。
1.Hierarchical Attention Networks for Document Classifica...
原理介绍 论文阅读 Hierarchical Attention Networks for Document Cl...
hierarchy指的是两层--word层和sentence层，模型很简单，想法很自然 word embeddin...
[WWW 2019] A Hierarchical Attention Retrieval Model for H...
论文标题：HGAT: Hierarchical Graph Attention Network for Fake ...
之前的方法是利用稀疏的词汇特征作文本表示、CNN、rnnLSTM 使用层级的attention network可以...
update time 11-30 Hierarchical Attention for Distant Supe...
GRAPH ATTENTION NETWORKS 1.摘要 我们提出了graph attention networ...
Attention Augmented Convolutional Networks https://arxiv....
论文 Stacked Attention Networks for Image Question Answerin...
本文标题：Hierarchical Attention Networks
本文链接：https://www.haomeiwen.com/subject/hambxftx.html
网友评论