Trie (pronounced 'try')是一种树形数据结构,存储字符串用于字符结构匹配。Trie结构的主要应用是信息检索(information retrieval).字典树的名字也来自于单词retrieval.应用字段树的操作主要是结构匹配(pattern matching)和前缀匹配(prefix matching).
标准字典树(standard tries):
定义S是字母表西格玛中的s个字符的集合,S中没有任何字符是其他字符的前缀。满足下列条件的S的有序树T称为一个标准字典树:
1 除根节点外,其他结点用西格玛中的字符做标记(labeled with a character of sigma);
2 内部节点的子节点的各不相同(the children of an internal node have distinct labels);
3 该树的s个子叶分别对应了S中的字符,从根节点到任一子叶v,将路径上的标签(label)拼接,形成S中与子叶v对应的字符。
一个重要假设: S中没有任何字符串是其他字符串的前缀prefix. 这保证了S中字符串与T中的子叶一一对应.
命题/性质:
1 字典树T的高度与S中最长的字符串长度相同;
2 每个内部节点最多有|sigma|个子节点 (|sigma|是sigma字符集中字符串的个数);
3 字典树T有s个叶节点(s是S中字符串的个数);
4 字典树T的结点数不超过n+1 (n是S中所有字符串的总长度).
字典树T结点数的最坏情况发生在没有任何两个字符串有相同的非空前缀,也就是,除了根节点,所有内部节点都只有一个子结点。
应用:
可用于生成以S中字符串为key的字典,从根节点到叶节点拼接路径中结点的标签生成一个key,如果正在检索的key没有终止于叶节点,或T中不含有能拼接成该key的路径,则这个key在S中不存在。
检索一个长度为m的字符的复杂度是O(m*|sigma|),最坏情况是检索T中的所有路径,也就是遍历S中的所有字符串,并且每个字符串都在最后一位得到检索结果。
Pattern matching的算法: word matching
生成字典树的算法: incremental algorithm
2020.02.23
一个假设:S中没有任何一个字符串是另一个字符串的前缀。在一个trie中插入一个新的长度为m的字符串X,跟踪路径并插入新的节点,复杂度是O(m*|sigma|)。而建立整个trie的复杂度是O(n),其中n是S中所有字符串的总长度。
压缩字典树Compressed trie
针对standard trie中很多结点只有单一子结点的情况压缩字典树被提出。
描述性定义: 类似于标准字典树,但其每个内部节点有至少两个子结点。
定义结点为冗余(redundant),如果结点含有一个子结点并且该结点不是根节点。
对于一个内部节点都是冗余的path,变成压缩字典树的算法如下,
从任意节点到最后一个冗余结点的每个hop,用tuple表示成(v0, v1), (v1, v2)...(vi-1, vi),中v0和vi不是
冗余,其余冗余,则该path可表示成(v0, vi).
压缩字典树中的结点用字符串做标记(对比标准字典树中是字母)。
定理
一个压缩字典树T来自字符串集合S共s个字符串,其字母来自有d个元素的字母集,有如下性质
1 T中的每个内部结点有最少两个子节点,最多d个子节点;
2 T有s个叶节点;
3 T的结点个数是O(s).
压缩字典树的表达方式: 用字符串s的index表示。(有个图)
注意,检索压缩字典树并不一定比标准字典树更快,因为在traversing path的过程中仍然需要比较目标string和树中结点。
suffix trie后缀字典树: 不知道在说什么,略。
search engine indexing搜索引擎原理:
搜索引擎的核心是称为inverted index/file的字典,key-value pair是(w, L),其中w是一个词,L是包含w的页面的collection。w称为index terms,是个尽可能大的词汇表。该字典中的元素称为occurrence lists并尽可能包含多的页面。搜索引擎用两类数据结构,
1 一个array用来保存不同index的occurrence lists,
2 一个压缩字典树保存index terms,每个叶结点保存该term对应的occurrence list在array中的index.
occurrence lists与字典树分离是为了保证树结构足够小以适应internal memory(放在内存里)。而occurrence lists的尺寸使得它们只能放在disk上。
用搜索引擎对关键字的检索如同用字典树做匹配检索。找到keyword,返回对应的occurrence lists。
使用多个keywords检索时,返回包含kw的所有页面,对不同kw的ol做交集(intersection). ol需要用根据地址排序的序列或map形式实现。
此外,每个ks的ol还要根据revelance对页面做ranking,ranking算法是搜索引擎的主要挑战。
reference:
1 M. Goodrich and etc, Data Structures and Algorithms in Python.
网友评论