美文网首页
迁移学习在问答系统中的应用

迁移学习在问答系统中的应用

作者: 向精英学习 | 来源:发表于2018-10-27 15:27 被阅读0次

    1.问答背景

    样本: (Q, P, y) :(问答,答案,标签)

    目标:匹配最佳的问题和答案

    图1 基于记忆网络的问答系统

    2.深度迁移学习技术

    图2 深度迁移学习(迁移某些层)

    3.TL在QA中的应用

    把样本 (Q, P, y) 投射为词嵌入,训练模型,微调(fine-tune)模型,迁移某些层。

    图3 某论文中TL在QA中的做法

    4.目前TL在QA中的应用的一般方法

    目前的TL在QA中的应用一般是在一个较大的问答数据集(源域),如SQuAQ,上预训练好,然后保留前边的层参数,使用较小的做另一个领域的问答数据集(目标域),如TOEFL,继续微调剩下的层或微调整个网络。其中,目前迁移学习与问答系统的论文之所以能发表,就是替换了以下3大模块中的一块,在某个数据集上获得了比较好的效果。

    图4 问答系统的一般由3个模块组成( 问题分析模块,知识检搜模块,答案生成模块)

    相关文章

      网友评论

          本文标题:迁移学习在问答系统中的应用

          本文链接:https://www.haomeiwen.com/subject/bksdtqtx.html