如上一篇结尾所说，技术学习应该先知整体再钻细节，亦可谓先见森林再见树木。
这一篇就将抛开技术实现细节，从整体上讲解 Answer 实现问答的原理。
原理简析
用户提出一个自然语言描述的问句时，例如“美人鱼的导演是谁？”，那么系统应该能正确回答该问题，该出答案－“周星驰”。
那么在这个过程中，到底发生了什么，系统经历了哪些步骤才能实现上述效果呢？现就以“美人鱼的导演是谁？”为例句，将其主要处理过程简单描述如下：
-
分词
对“美人鱼的导演是谁？”进行分词，分词结果为“美人鱼”、“的”、“导演”、“是”、“谁”、“？” -
依存句法分析
依存句法是关于自然语言在语法层面上的一种解析，它将指出一个句子中各个词语之间的依存关系。
如“我爱编程”中，“我”和“爱”之间就存在主谓关系(SBV)，其中“我”为主体，“爱”为谓语。而“爱”和“编程”之间存在动宾关系(VOB)，其中“爱”为谓语动词，“编程”为宾语客体。
再如例句“美人鱼的导演是谁？”中就存在”美人鱼“和”导演“之间的修饰关系(ATT)，其中“美人鱼”修饰“导演”。 -
构建查询语义图
根据第 2 步的依存句法分析结果，可以按照查询语义图算法构建查询语义图。查询语义图算法来源于文献《面向知识库的中文自然语言问句的语义理解》-许坤-北京大学学报。具体算法细节将在后续文章中详细讲解。这里只需要知道算法最后会构建一张图来表达用户的语义，例句“美人鱼的导演是谁？”的查询语义图如下图所示：
例句语义图示意图.png
-
构造查询语句
根据第 3 步生成的语义图构建 SPARQL 查询语句。SPARQL 是一种本体库（一种知识库，或高大上一点称之为知识图谱）的查询语言，构造 SPARQL 查询语句如下：
SELECT ?b WHERE {
mymo:美人鱼 mymo:有导演 ?a.
?a mymo:是 ?b.
}
-
Jena 执行查询语句
Jena 是一种能提供对本体库的数据进行查询、添加、删除、更新等操作的工具，利用 Jena 丰富的 API 能够执行第 4 步生成的 SPARQL 语句从而查询本体库，并将查询结果“周星驰”作为问句答案返回。关于 Jena 后续会进一步介绍。 -
一点补充
第 4 步所提到的本体库就是存储着各种知识的知识库，而本体库的构建则对应着 Answer 系统的本体构建模块。当前该模块的原理利用 WebMagic 爬取百度百科，并通过定义规则来进行分类、实体关联等，也就是目前完全是基于规则来构建本体库。
这种基于规则的方式应该是所有本体构建方法中”最土“的了，但毕竟当前系统也只是个 Demo，后续会改进本体构建模块，实现真正的本体半自动构建。
原理补充
以上是对处理过程的一种简化，其中省略了很多细节和难点，没有涉及到语义理解中的几个重要内容，如同名实体、实体别名和谓语消歧等。而这几个正是系统中必须要处理解决的重要问题。
-
问题一：同名实体
所谓的同名实体指的是具有相同名称的不同实体，也就是同一个名称的背后可以代表多个不同的实体。
同名实体现象在现实中普遍存在，例如“美人鱼”就可以代表多个不同实体：可以是“周星驰2016年执导的一部电影”，也可以是“周杰伦2014年创作的一首歌曲”，还可以是”一种传说中的人鱼生物“。
那么在问句中，我们应该要识别其中的”美人鱼“到底指的是哪一个实体。
同名实体现象如下图所示：
同名实体现象示意图.png
-
问题二：实体别名
和同名实体相对的一个问题就是实体别名。所谓实体别名指的是同一个实体可以有多个不同名称。
实体别名同样在现实中普遍存在，例如“周星驰”有”星爷“这个别名，甚至有时候“周星星”也可以用来指代“周星驰”。
用户在问“周星驰出演过哪些电影？”的时候，如果系统能正确回答，那么用户在问“星爷出演过哪些电影？”的时候，系统也应该要正确回答，并且能够识别出其中的“星爷”其实是指代了“周星驰”。
实体别名现象如下图所示：
实体别名现象示意图.png
-
问题三：谓语同义词
自然语言中的谓语，也就是我们经常说的动词广泛存在着同义词的现象。例如”出演“和”参演“是一组同义词。那么用户在问“周星驰出演过哪些电影？”的时候，如果系统能够正确回答，那么用户在问“周星驰参演过哪些电影？”的时候，系统也应该要正确回答。
Answer 系统架构
在简述了系统对自然语言问句的处理过程之后，我们对 Answer 系统的问答原理有了一定的基本认识。
现在就可以从系统实现和程序的角度来看系统的原理，整体的系统框架如下图所示：
系统框架图.png
其中语义理解模块主要完成第 1 步到第 3 步，本体查询模块主要完成第 4 步到第 5 步，爬虫模块和本体自动模块完成本体构建。
另外框架图中的实体词典在整个系统中十分重要，具有多种功能，将会在后续文章中介绍。
下一篇
之后将分别介绍系统中的各个模块的原理和实现，下一篇将介绍爬虫模块和本体自动构建模块。
汪
汪.
网友评论