Tokenizers(令牌器)

Single Token（单一令牌）

单令牌化器会将整个输入字节作为单令牌返回。
The Single Token Tokenizer will return the entire input bytes as a single token.

Letter（字母）

字母令牌化器是一个令牌化器，它简单地将令牌标识为属于字母类别的Unicode符文序列。
The letter tokenizer is a tokenizer that simply identifies tokens as sequences of Unicode runes that are part of the Letter category.

Regular Expression（正则表达式）

正则表达式标记器将使用可配置的正则表达式标记输入。正则表达式应该匹配标记文本。有关其用法的示例，请参见空白令牌化器。
The Regular Expression Tokenizer will tokenize input using a configurable regular expression. The regular expression should match token text. See the Whitespace Tokenizer for an example of its usage.

Whitespace

空白令牌化器是令牌化器，它只是将令牌识别为不属于空间类别的Unicode符文序列。
The Whitespace Tokenizer is tokenizer which simply identifies tokens as sequences of Unicode runes that are NOT part of the Space category.

Unicode

Unicode标记器使用词库对单词边界执行[Unicode文本分割]。对于不需要由重症监护病房支持的基于字典的令牌化的所有语言，建议使用重症监护病房令牌化器。

ICU

伊斯兰法院联盟标记器使用伊斯兰法院联盟库在单词边界上使用[Unicode文本分割]对输入进行标记。

注意: 此令牌化器要求bleve与可选的伊斯兰法院联盟库软件包一起构建。参见网页。

Exception

异常标记器允许您定义异常。异常是输入流中匹配正则表达式的部分。这些部分作为单个标记保持不变。任何与这些正则表达式不匹配的输入都会传递给子标记器。