【PG】使用 zhparser 进行中文分词全文检索

为了将帖子显示到关注点相同的用户面前，打算根据关注点相关的关键词对帖子进行分类。
考虑关注点不是很多，在发帖时就对关键词进行检索分类，然后将分类关系保存在 DB 里。
具体实现上偷懒通过自定义词典配置关键词，采用 PostgreSQL 的全文检索功能对帖子内容分词识别。

---

安装 zhparser 中文分词扩展

1.安装SCWS
2.下载zhparser源码
3.编译和安装zhparser
5.创建extension

具体可参照官网，不过由于年久失修的缘故给出的命令遗漏了部分字符（比如 http: 后的 //），参考 GitHub反而更方便。

创建词典

• 分词词典
  默认的分词有时不能满足需求，所以需要将自己的专有词汇以扩展词典的方式加入postgresql.conf（具体参考 zhparser 说明）

zhparser.extra_dicts = 'dict_extra.txt,mydict.xdb'

• 未添加自定义分词词典

  => select * from ts_debug('testzhcfg', '约翰惠特沃斯');
   alias | description | token |      dictionaries       | dictionary | lexemes
  -------+-------------+-------+-------------------------+------------+---------
   n     | noun        | 约翰  | {thesaurus_test,simple} | simple     | {约翰}
   n     | noun        | 惠特  | {thesaurus_test,simple} | simple     | {惠特}
   n     | noun        | 沃斯  | {thesaurus_test,simple} | simple     | {沃斯}
  (3 rows)

• 添加自定义分词词典后

  => select * from ts_debug('testzhcfg', '约翰惠特沃斯');
   alias | description |    token     |      dictionaries       | dictionary |    lexemes
  -------+-------------+--------------+-------------------------+------------+----------------
   n     | noun        | 约翰惠特沃斯 | {thesaurus_test,simple} | simple     | {约翰惠特沃斯}
  (1 row)

• 同义词词库
  虽然自定义分词词典优先度比系统的高，但遇到 中文+英文+数字 的复合词汇时仍然无法作为一个整体正常解析为一个词，而是会分成多个词。这样就用同义词词库将多个词构成的 短语 重新定义为目标词。

/*
 * 中文环境为主，英文单词均精确匹配，未使用 Ispell 及 Snowball 词典
 * 为减少大写写差异导致同义词库条目增加，使用 Simple 词典
 */
CREATE TEXT SEARCH DICTIONARY thesaurus_test (
    TEMPLATE = thesaurus,
    DictFile = thesaurus_test,
    Dictionary = pg_catalog.simple
);

• 未添加同义词词典（同义词库用 ts_debug 调试可能不准，具体参见文档）

      => select * from to_tsvector('testzhcfg', '毛瑟g98');
         to_tsvector
      ------------------
       'g98':2 '毛瑟':1
      (1 row)

• 添加同义词词库后

      => select * from to_tsvector('testzhcfg', '毛瑟g98');
       to_tsvector
      -------------
       '毛瑟g98':1
      (1 row)

配置解析

CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);

/*
 * 为防止遗漏造成同义词库匹配失败，将所有词性全部映射
 * 为保留同义词库未匹配项，增加 Simple 字典的映射
 */
ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t,u,v,w,x,y,z WITH thesaurus_test,simple;

代码逻辑

• 在分类表中增加 TSQUERY 类型字段指定关键词
• 提交帖子时将帖子内容分词后和关键词进行匹配

to_tsvector('testzhcfg', '帖子内容') @@ TSQUERY字段

• 保存帖子和匹配到分类间的关系

---

至此成功达到目的。

附注：

• 其他参考
  SCWS 中文分词词性标注
  PostgreSQL 官方文档 概念相关
  PostgreSQL 官方文档 命令相关

• 常用调试命令

  • 调试 dictionary
    由于输入被当做单独标记，所以没法针对 thesaurus 的 phrase 进行调试

select ts_lexize(dictionary, text)

• 调试 parser

select * from ts_debug(config, text)

• 调试 config

select to_tsvector(config, text)
select plainto_tsquery(config, text)

• 查看 parser 支持的词性

select * from ts_token_type(parser);