美文网首页
KBQA研究进展

KBQA研究进展

作者: 学术界末流打工人 | 来源:发表于2020-04-22 16:04 被阅读0次

    KBQA研究进展

    阿里小蜜

    小蜜KBQA问题分类表

    Multi-point semantic representation 框架

    研发了基于 MultiCG的Semantic Parser 算法对业务中的复杂问句进行解析，并利用Dependency parser模型对约束属性进行消歧

    Hierarchical KB-Attention Model

    • 针对模型鲁棒性和表示能力弱，部分约束识别借助人工模板的问题，借鉴最近两年 Semantic Parser + NN 方法中 KV-MemNN 的建模思想

    • 特点

      • 对 Query 与 KB 之间的交互进行了细粒度的建模，以捕捉问句内部核心成分之间的修饰关系，来强化 Query 的层次化语义理解，在效果上超过了 MultiCG 的方法，并且具备更强的复杂问题解析能力和更好的可解释性

    数据集

    KBQA评测数据集列表

    • https://mmbiz.qpic.cn/mmbiz_png/Psho9dm7oDH5BEHdhQwgtmicNandIy78xzp7uueVadxDvDNxSbhhDyk4By4uWN21rjWIsB3OzBIN2XiaD6NibXCOA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

      • WebQuestions及其衍生数据集

        • 问题来源于 Google Suggest API

        • 答案使用 Amazon Mechanic Turk 标注生成

        • 目前使用最广泛的评测数据集

        • 不足

          • 数据集中只有问答对，没有包含逻辑形式

            • 改进版本

              • 微软基于该数据集构建了 WebquestionsSP，为每一个答案标注了 SPARQL 查询语句，并去除了部分有歧义、意图不明或者没有明确答案的问题。

                • 论文

                  • Yih W, Richardson M, Meek C, et al. The value of semantic parse labeling for knowledge base question answering[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2016: 201-206.

          • 简单问题占比在 84%，缺乏复杂的多跳和推理型问题

            • 改进版本

              • 为了增加问题的复杂性，ComplexQuestions在 WebQuestions 基础上，引入包含类型约束、显式或者隐式的时间约束、多实体约束、聚合类约束(最值和求和)等问题，并提供逻辑形式的查询。

                • 论文

                  • Bao J, Duan N, Yan Z, et al. Constraint-based question answering with knowledge graph[C]//Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016: 2503-2514.

        • 论文

          • Berant J, Chou A, Frostig R, et al. Semantic parsing on freebase from question-answer pairs[C]//Proceedings of the 2013 conference on empirical methods in natural language processing. 2013: 1533-1544.

      • QALD系列（Question Answering over Linked Data）

        • 复杂问题占比约 38%

        • 包括多个关系和多个实体

          • 如：“Which buildings in art deco style did Shreve, Lamb and Harmon design?”；

        • 包括含有时间、比较级、最高级和推理类的问题

          • 如：“How old was Steve Jobs’s sister when she first met him？”

      • Large-Scale Complex Question Answering Dataset (LcQuAD)

        • 简单的单跳问题占比 18%

          • 典型的问句形式如：“What are the mascots of the teams participating in the turkish handball super league?”。

        • 该数据集的构建，先利用一部分 SPARQL 模板，一些种子实体和部分关联属性通过 DBpedia 生成具体的 SPARQL，然后再利用定义好的问句模板半自动利用 SPARQL 生成问句，最后通过众包形成最后的标注问题。

        • 改进版本

          • 数据量更大更多样的数据集 LcQuAD 2.0

            • 论文

              • Dubey M, Banerjee D, Abdelkawi A, et al. Lc-quad 2.0: A large dataset for complex question answering over wikidata and dbpedia[C]//International Semantic Web Conference. Springer, Cham, 2019: 69-78.

    前沿趋势

    更关注复杂问题解析

      1. 对复杂实体链接和具有歧义的易混淆句子上的属性识别工作是 KBQA 在工业界落地的一个重要方向

      • 论文

        • Zhang J, Ye Y, Zhang Y, et al. Multi-Point Semantic Representation for Intent Classification[J]. AAAI. 2020.
      1. 如何能设计更好地网络结构建模复杂问题的逻辑和语义结构、更好地融入 KG 信息解决复杂问题也是需要我们探索的方向
      1. 利用神经网络符号计算解决复杂问题，我们也希望看到有研究工作可以利用神经网络对符号计算的模拟，实现解释性强的，可学习地大规模知识问答和知识推理

    模型鲁棒性增强

      1. 在 KBQA 实际应用中发现，其对语料的泛化理解以及拒识能力不强，严重影响了 KBQA 模型在工业环境的落地

      • 论文指出在阅读理解任务中，仅在段落中增加一些句子，会使模型效果有大幅下降

        • 论文

          • Jia R, Liang P. Adversarial examples for evaluating reading comprehension systems[J]. arXiv preprint arXiv:1707.07328, 2017.

    从单轮问答到多轮交互

      1. 真实场景下，用户经常连续询问多个问题，其中部分问题是对话相关，部分问题可以被映射到 KBQA 中。而现在的机器人通常是将问答和对话任务分开解决，我们认为有必要将两种任务统一设计建模，来解决真实场景下的此类问题
      1. 现在的一些研究在复杂多轮问答（如 CSQA）上的准确率还明显不能落地，期待有更多地工作可以关注这个领域的研究

    总结

    现有 KBQA 方法面临的两大核心挑战

      1. 复杂问题理解难
      1. 模型推理能力弱

    KBQA 主流的两种方法

      1. Semantic Parser
      • 针对复杂问题理解，介绍了利用查询图生成、Encoder-Decoder 和 KV-MemNN 的方法来进行语义解析的方法
      1. Information Retrieval

      • 介绍了利用 Subgraph Embedding、CNN 、Attention 和 Memory Network 机制对 Query 和 KG 不同结构信息进行建模和匹配的方法

        • 优点

          • 此类方法减少了人工模板的依赖

        • 不足

          • 可解释性不强，且在现有的数据集结果上效果不佳

    REF

    https://mp.weixin.qq.com/s/NkwyHsmpZCwsQPiQOMK7zw

    KBQA

    当前主要面临的两个挑战

      1. 复杂问题理解难
      • 如何更恰当地通过知识图谱建模并理解用户复杂问题，并增强方法的可解释性
      1. 模型推理能力弱
      • 如何减少对于人工定义模板的依赖，训练具备推理能力、泛化性强的 KBQA 深度模型

    现在主流两类方法

      1. Semantic Parser + NN (SP)
      1. Information Retrieval (IR)

    • 各方法在WebQuestions上的Benchmark

      • https://mmbiz.qpic.cn/mmbiz_png/Psho9dm7oDH5BEHdhQwgtmicNandIy78xQKFJ7mNAAXeIpl3ct6komicAEXRCxT5MVX8CC90abe2WEkX7D6dQXzw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

        • 结合SP的方法效果略高于IR

        • 早期研究人员利用传统方法, 通过手工构建模板和规则的方式解析复杂问题

          • 不足

            • 需要较专业的语言学知识且可扩展性不强。

        • 随着深度学习在 NLP 领域的应用，研究人员将 QA 问题视为用户 Query 与答案的二分类或者排序问题（IR），利用不同的网络结构（CNN or Attention），并结合 KG 中不同的上下文信息来编码候选答案和 Query 的分布式表示，最后通过计算两者间的匹配度选出最终的答案。此类方法将语义解析问题转化为大规模可学习的匹配问题

          • 优点

            • 减少了对于人工模板的依赖

          • 缺点

            • 模型的可解释性不强且整体效果欠佳

        • 借助 KV Memory Network 中的多个记忆槽来解决 KBQA 中多跳推理问题成为了一个趋势

          • 优点

            • 不依赖于人工模板且可解释性较强

          • 缺点

            • 仍然不能很好地解析序数推理和显隐式时间约束的问题

        • 最近出现了基于神经符号机 （Neural Symbolic Machine）的解决方案

          • 论文

            • Liang C, Berant J, Le Q, et al. Neural symbolic machines: Learning semantic parsers on freebase with weak supervision[J]. arXiv preprint arXiv:1611.00020, 2016.

    Semantic Parser

    • 基于 Semantic Parser 的方法通常将自然语言转化成中间的语义表示（Logical Forms），然后再将其转化为可以在 KG 中执行的描述性语言（如 SPARQL 语言）。

    • 传统方法

      • 依赖于预先定义的规则模板，或者利用监督模型对用户 Query 和语义形式化表示（如 CCG、λ-DCS）的关系进行学习，然后对自然语言进行解析

        • CCG 论文

          • Steedman M. A very short introduction to CCG[J]. Unpublished paper. http://www. coqsci. ed. ac. uk/steedman/paper. html, 1996.

        • λ-DCS 论文

          • Liang P. Lambda dependency-based compositional semantics[J]. arXiv preprint arXiv:1309.4408, 2013.

      • 优点

        • 需要大量的手工标注数据，可以在某些限定领域和小规模知识库（如 ATIS 、GeoQuery）中达到较好的效果

          • ATIS 论文

            • Dahl D A, Bates M, Brown M, et al. Expanding the scope of the ATIS task: The ATIS-3 corpus[C]//Proceedings of the workshop on Human Language Technology. Association for Computational Linguistics, 1994: 43-48.

      • 不足

        • 当面临 Freebase 或 DBpedia 这类大规模知识图谱的时候，往往效果欠佳

    • 查询图方法（Query Graph）

      • STAGG (Staged Query Graph Generation)

        • 基于 Semantic Parser 的知识图谱问答框架

          • 论文

            • Yih S W, Chang M W, He X, et al. Semantic parsing via staged query graph generation: Question answering with knowledge base[J]. 2015.

        • 查询图生成过程一共有三个主要步骤

            1. 实体链接

            • 实体链接部分采用论文的实体链接系统得到候选实体和分数

              • 论文

                • Yang Y, Chang M W. S-mart: Novel tree-based structured learning algorithms applied to tweet entity linking[J]. arXiv preprint arXiv:1609.08075, 2016.
            1. 属性识别
            • 属性识别阶段会根据识别的实体对候选的属性进行剪枝，并采用深度卷积模型计算 Query 和属性的相似度
            1. 约束挂载
            • 约束挂载阶段会根据预定义的一些规则和匹配尝试进行最值、实体约束挂载

          • 最后会根据图本身特征和每一步的分数特征训练一个 LambdaRank 模型，对候选图进行排序

        • 优点

            1. 有效地利用了图谱信息对语义解析空间进行了裁剪，简化了语义匹配的难度
            1. 结合一些人工定义的处理最高级和聚合类问题的模板，具备较强理解复杂问题的能力

        • 不足

          • Query 与对应的 Query Graph 排序时，没有显式地将 Query Graph 利用神经网络进行泛化性强地语义特征提取，而是利用不同步骤的分数作为特征进行排序。

        • 改进

          • 微软

            • 改进STAGG解决复杂问题的方法

              • Multiple Constraint Query Graph（MultiCG）

                • 扩展了约束类型和算子，新增了类型约束、显式和隐式时间约束

                  • 论文

                    • Bao J, Duan N, Yan Z, et al. Constraint-based question answering with knowledge graph[C]//Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers. 2016: 2503-2514.

          • IBM

            • 沿用STAGG框架

              • 针对属性识别准确率较低的问题

                • 在属性识别阶段，将 Query 和属性名称的字和词 2 个维度进行编码

                • 利用 Hierarchical Residual BiLSTM计算相似度

              • 优点

                  1. 很好地弥补了 Semantic Gap 问题
                  1. 提升了属性识别关键模块的准确率

              • 不足

                • 没有在复杂问题地处理上进行过多地改善

      • Semantic Matching Model

        • 论文

          • Luo K, Lin F, Luo X, et al. Knowledge base question answering via encoding of complex query graphs[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. 2018: 2185-2194.

        • 该模型分别对 Query 和查询图进行编码

        • 过程

            1. 首先对去掉实体的 Query 利用双向 GRU 进行全局编码得到q_tok
            1. 对 Query 进行依存分析，并利用 GRU 对依存路径进行编码，收集句法和局部语义信息，得到q_dep
            1. 两者求和得到 query 编码 q_p = q_tok + q_dep

        • 优点

            1. 首次将 Query Graph 进行语义编码，计算与 Query 间的相关性程度，并以此作为匹配特征训练模型
            1. 该方法在 ComplexQuestions 数据集上的表现优于 MultiCG 的方法

        • 不足

            1. 依然不能很好地利用神经网络模型处理显隐式时间约束等复杂问题
            1. 在对 Query Graph 进行编码的时候，因为最后使用了 Pooling，所以并没有考虑实体和关系的顺序问题

        • 改进方法

          • Tree2Seq方法

            • 论文

              • Zhu S, Cheng X, Su S. Knowledge-based question answering by tree-to-sequence learning[J]. Neurocomputing, 2020, 372: 64-72.

            • 将 Query Graph 利用 Tree-based LSTM 进行编码

            • 优点

              • 验证了 Query 结构信息在 QA 任务上的有效性

            • 不足

              • 没有在 WebQuestions 等数据集上取得 SOTA 的效果

      • 编码器-解码器方法（Encoder-Decoder）

        • 论文

          • Dong L, Lapata M. Language to logical form with neural attention[J]. arXiv preprint arXiv:1601.01280, 2016.

        • 将 Semantic Parser 问题转化为 Seq2Seq 问题

        • 特点

        • 不足

          • 该方法需要大量的训练语料，因此并不适合通用知识问答数据集

        • 改进版本

          • 论文

            • Xu K, Wu L, Wang Z, et al. Exploiting rich syntactic information for semantic parsing with graph-to-sequence model[J]. arXiv preprint arXiv:1808.07624, 2018.

          • 特点

              1. 使用 Syntactic Graph 分别表示词序特征（Word Order），依存特征（Dependency）还有句子成分特征（Constituency）
              1. 采用 Graph-to-Seq 模型，利用图编码器将 syntactic graph 进行编码
              1. 利用 RNN 对每时刻的状态向量和通过 Attention 得到的上下文信息进行解码得到对应的 Logical Forms

          • 优点

            • 该方法验证了额外的句法信息引入有利于提升模型的鲁棒性

          • 不足

            • 没有解决对于大量训练语料的依赖问题

      • Transition-Based 方法

      • Memory Network方法

        • 论文

          • Weston J, Chopra S, Bordes A. Memory networks[J]. arXiv preprint arXiv:1410.3916, 2014.

        • Key-Value Memory Network (KV-MemNN)

          • 论文

            • Miller A, Fisch A, Dodge J, et al. Key-value memory networks for directly reading documents[J]. arXiv preprint arXiv:1606.03126, 2016.

          • 特点

            • 此结构相比扁平的 Memory Network 结构，可以很好地存储具有复杂结构的数据（如 KG），并通过在多个记忆槽内的预测来进行浅层的多跳推理任务，最终生成相关子图路径

        • 改进算法1

          • 论文

            • Xu K, Lai Y, Feng Y, et al. Enhancing Key-Value Memory Neural Networks for Knowledge Based Question Answering[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). 2019: 2937-2947.

          • 原理

            • 用 KV-MemNN 来存储图谱中的三元组（SPO）信息

            • 提出了一个新的 Query Update 机制

          • 特点

              1. 实验验证可以让模型能够更好地注意到下一步需要推理的内容
              • 该机制在更新时去掉 Query 中已经定位到的 Key 值
              1. 实验验证了它能避免复杂问题无效的推理过程
              • 在 Key hashing 阶段加入特殊的 STOP 键值，来告诉模型在时刻 t 是否收集了足够的信息回答用户 Query

          • 优点

              1. 该方法在不依赖于手工构造模板的情况下，在 WebQuestions 数据集上的效果超过了 SOTA 方法
              1. 该方法的框架和引入的 Stop、Query Update 机制让整个复杂问题的解析过程具备更好地解释性

    Information Retrieval

    • 搜索排序（IR）的知识图谱问答

      • 过程

          1. 确定用户 Query 中的实体提及词（Entity Mention）
          1. 链接到 KG 中的主题实体（Topic Entity），并将与 Topic Entity 相关的子图（Subgraph）提取出来作为候选答案集合
          1. 分别从 Query 和候选答案中抽取特征
          1. 利用排序模型对 Query 和候选答案进行建模并预测

      • 特点

        • 方法不需大量人工定义特征或者模板，将复杂语义解析问题转化为大规模可学习问题

      • 依据特征表示技术不同，IR 方法可以分为两类

        • 基于特征工程的方法

        • 基于表示学习的方法

          • Embedding-Based方法

          • CNN and Attention方法

            • Multi-Column Convolutional Neural Networks (MCCNNs)

              • 论文

                • Dong L, Wei F, Zhou M, et al. Question answering over freebase with multi-column convolutional neural networks[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2015: 260-269.

              • https://mmbiz.qpic.cn/mmbiz_png/Psho9dm7oDH5BEHdhQwgtmicNandIy78xMC5P8F99XmI9DWgwnSJmV59iakEfZ6FXWUEZNNTm7Bmc2bs7621CLCg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1

              • 原理

                • 利用CNN分别对问句和答案类型（Answer Type）、答案实体关系路径（Answer Path）和答案实体一跳内的 Subgraph (Answer Context) 进行编码，以获取不同的语义表示

              • 优点

                • 该方法验证了考虑词序信息、问句与答案的关系对 KBQA 效果的提升是有效的

              • 缺点

                • 对于不同答案，将问句都转化成一个固定长度的向量，这种方法不能很好地表达问句的信息

            • Cross-Attention based Neural Network

            • Attentive RNN with Similarity Matrix based CNN

            • Memory Network方法

              • 特点

                • 良好的可扩展性以及对于强弱监督的适用性

                  • 论文

                    • Sukhbaatar S, Szlam A, Weston J, et al. Weakly supervised memory networks[J]. CoRR, abs/1503.08895, 2.

              • 新算法1

                • 论文

                  • Bordes A, Usunier N, Chopra S, et al. Large-scale simple question answering with memory networks[J]. arXiv preprint arXiv:1506.02075, 2015.

                  • 过程

                      1. 将 KG 中的知识存储到 MemNN 中
                      1. 采样正负例 Query 和正负例的 Answer，两两组合形成多任务，利用 Triplet loss 训练 MemNN

                • 原理

                  • 将其结合 KG 中三元组信息来解决 KBQA 中简单问题（单跳），同时构建了 SimpleQuestions 数据集

                • 模型工作过程

                    1. 通过输入模块（input module）将用户问题、三元组信息转化为分布式表示加入到 Memory 中
                    1. 利用泛化模块（Generalization module）将新的三元组信息（来自 Reverb）加入到 Memory 中

                • L 层的 Factual Memory Network

                  • 论文

                    • Jain S. Question answering over knowledge base using factual memory networks[C]//Proceedings of the NAACL Student Research Workshop. 2016: 109-115.

                  • 原理

                    • 模拟多跳推理过程，每层以线性链接，并以上一层输出作为本层输入

                  • 优点

                    • 在编码阶段，将问句和 KG 三元组信息分别进行映射

                  • 不足

                    • 没有考虑两者间的交互关系

                  • Bidirectional Attentive Memory Network (BAMnet) 模型

                    • 论文

                      • Chen Y, Wu L, Zaki M J. Bidirectional attentive memory networks for question answering over knowledge bases[J]. arXiv preprint arXiv:1903.02188, 2019.

                    • 主要通过 Attention 机制来捕捉 Query 与 KG 信息间的两两相关性，并以此利用相关性增强 Query 的表示，希望能结合到更多的 KG 信息，提升针对复杂问题的处理能力，该方法包含 4 个模块

                    • 优点

                      • 在不依赖于人工构建模板的情况下，依靠 Attention 机制和 MemNN，效果比大多数 IR 方法更好

                    • 不足

                      • 并没有引用了 PE 机制的论文效果好

                        - 论文

                          - `Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in neural information processing systems. 2017: 5998-6008.`

              • 优点

                • 仅仅利用 CNN、Attention 等机制对 Query 与 KG 信息进行简单地端到端模型尽管可以避免大量构造人工模板

              • 缺点

                • 并不能有效解决复杂问题，且部分方法的可解释性不强
    总参考思维导图

    相关文章

      网友评论

          本文标题：KBQA研究进展

          本文链接：https://www.haomeiwen.com/subject/evaiihtx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|KBQA研究进展|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！