Simple and Effective Text Matchi

Simple and Effective Text Matchi

作者: prolic | 来源:发表于2020-01-09 17:17 被阅读0次

阿里小蜜提出的高效预测Text Matching模型，模型图如下：

An overview of RE2.

核心是有三种向量，Embedding，Residual和Encoded，分别对应图中的白，灰，黑

Encoder层用的是普通多层CNN

Augmented Residual Connections

残差网络做了特殊处理

$x^{(n)} = [x_1^{(n)},x_2^{(n)},...,x_l^{(n)}]$

$o^{(n)} = [o_1^{(n)},o_2^{(n)},...,o_l^{(n)}]$

$x_i^{(n)} = [x_i^{(1)};o_i^{(n-1)} + o_i^{(n-2)}]$

Alignment Layer

两句做Attention，相似度取 $e_{ij} = F(a_i)^TF(b_j)$

函数 $F$ 为恒等函数或者单层前馈网络

$a'_i = \sum\limits_{j=1}^{l_b} \frac{exp(e_{ij})}{\sum_{k=1}^{l_b}exp(e_{ik})}b_j$

$b'_j = \sum\limits_{i=1}^{l_a} \frac{exp(e_{ij})}{\sum_{k=1}^{l_a}exp(e_{kj})}a_i$

Fusion Layer

$\bar {a}_i^1 = G_1([a_i;a'_i])$

$\bar {a}_i^2 = G_2([a_i;a_i - a'_i])$

$\bar{a}_i^3 = G_3([a_i;a_i \circ a'_i])$

$\bar {a}_i = G([\bar{a}_i^1;\bar{a}_i^2;\bar{a}_i^3])$

$G$ 是单层前馈网络，融合层将直接拼接，减后拼接和乘后拼接做拼接，减法表明两句的diff，乘法表明两句相似的部分

Prediction Layer

$\hat{\mathbf{y}} = H([v_1;v_2;v_1 - v_2;v_1 \circ v_2])$

$v_1,v_2$ 是两个句子经过pooling的输出， $H$ 是多层前馈网络

这里作者分别对多种任务提出了不同的计算方式，有兴趣可以去原文看下

参考资料

[1] Text Matching with Richer Alignment Features 论文解读

[2] Text Matching with Richer Alignment Features原文

[3] 阿里提供的github代码

相关文章

网友评论

本文标题：Simple and Effective Text Matchi

本文链接：https://www.haomeiwen.com/subject/fozyactx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|Simple and Effective Text Matchi|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！