1.问答背景
样本: (Q, P, y) :(问答,答案,标签)
目标:匹配最佳的问题和答案
![](https://img.haomeiwen.com/i13751249/21a1080a8e28580f.png)
2.深度迁移学习技术
![](https://img.haomeiwen.com/i13751249/8af91003b0de97c2.png)
3.TL在QA中的应用
把样本 (Q, P, y) 投射为词嵌入,训练模型,微调(fine-tune)模型,迁移某些层。
![](https://img.haomeiwen.com/i13751249/c13dad3f030223a1.png)
4.目前TL在QA中的应用的一般方法
目前的TL在QA中的应用一般是在一个较大的问答数据集(源域),如SQuAQ,上预训练好,然后保留前边的层参数,使用较小的做另一个领域的问答数据集(目标域),如TOEFL,继续微调剩下的层或微调整个网络。其中,目前迁移学习与问答系统的论文之所以能发表,就是替换了以下3大模块中的一块,在某个数据集上获得了比较好的效果。
![](https://img.haomeiwen.com/i13751249/d92a3ae3f75c6f74.png)
网友评论