首先要Git Clone spaCy的最新版本。

spaCy的语言包括properties和methods。

properties：

    VOCAB

    STOP_WORDS

    TOKENIZER_EXCEPTIONS

    TOKEN_MATCH

    NORM_EXCEPTIONS

    TOKENIZER_PREFIXES

    TOKENIZER_SUFFIXES

    TOKENIZER_INFIXES

    LEX_ATTRS

    SYNTAX_ITERATORS

    LOOKUP

    LEMMA_RULES, LEMMA_INDEX,LEMMA_EXC

    TAG_MAP

    MORPH_RULES

以上这些就是定义停用词、排除词、前中后缀、标点符号、词形还原、标签映射之类的这些每个语言的特征。

 Methods

Tokenizer

Tensorizer

Parser（intent and dependencies）

NER（以及New Entity Type）

TAGGER

Text Classification（Textcat）

SBD

Sentencizer

Merge_noun_chunks

Merge_entities

Merge_subtokens

以上这些mothods都是pips，都封装在pipline里。

---

添加语言

语言的相关内容都在spaCy目录内已经预设了中文，内容在spacy/lang/zh目录中，初始状态下，目录内有__init__.py和example.py两个文件， __init__.py引入了结巴分词，没有引入任何属性设置。实际上在spacy/lang/目录中已经做好了几个通用设置（char_classes.py / entity_rule.py / lex_attrs.py / norm_exceptions.py / punctuation.py / tag_map.py / tokenizer_exceptions.py），可以直接引入，当然没必要的设置可以不用管。

Zh的__ini__.py文件

在zh中定义lex_attrs / morph_rules / stop_words / syntax_iterators / tag_map五项从上级目录（lang）import：char_classes / punctuation /norm_exceptions / tokenizer_exceptions以及其他基本依赖。修改后的代码如下：

# coding: utf8

from __future__ import unicode_literals

from .tag_map import TAG_MAP

from .stop_words import STOP_WORDS

from .lex_attrs import LEX_ATTRS

from .morph_rules import MORPH_RULES

from .syntax_iterators import SYNTAX_ITERATORS

from ..tokenizer_exceptions import BASE_EXCEPTIONS

from ..norm_exceptions import BASE_NORMS

from ..punctuation import TOKENIZER_PREFIXES, TOKENIZER_SUFFIXES,TOKENIZER_INFIXES

from ..char_classes import UNITS, CURRENCY, QUOTES, PUNCT, HYPHENS,ICONS, LIST_UNITS, LIST_CURRENCY, LIST_QUOTES, LIST_PUNCT, LIST_HYPHENS,LIST_ELLIPSES, LIST_ICONS

from ...attrs import LANG, NORM

from ...language import Language

from ...tokens import Doc

from ...util import update_exc, add_lookups

class ChineseDefaults(Language.Defaults):

    lex_attr_getters =dict(Language.Defaults.lex_attr_getters)

   lex_attr_getters.update(LEX_ATTRS)

    lex_attr_getters[LANG] =lambda text: 'zh'  # for pickling

    lex_attr_getters[NORM] =add_lookups(Language.Defaults.lex_attr_getters[NORM],

                                        BASE_NORMS)

    tokenizer_exceptions =update_exc(BASE_EXCEPTIONS)

    use_jieba = True

    tag_map = TAG_MAP

    stop_words = STOP_WORDS

    morph_rules = MORPH_RULES

    syntax_iterators =SYNTAX_ITERATORS

class Chinese(Language):

    lang = 'zh'

    Defaults =ChineseDefaults  # override defaults

    def make_doc(self, text):

        ifself.Defaults.use_jieba:

            try:

                import jieba

            except ImportError:

                msg = ("Jiebanot installed. Either set Chinese.use_jieba = False, "

                       "orinstall it https://github.com/fxsjy/jieba")

                raiseImportError(msg)

            words =list(jieba.cut(text, cut_all=False))

            words = [x for x inwords if x]

            return Doc(self.vocab,words=words, spaces=[False]*len(words))

        else:

            words = []

            spaces = []

            doc =self.tokenizer(text)

            for token inself.tokenizer(text):

               words.extend(list(token.text))

               spaces.extend([False]*len(token.text))

                spaces[-1] =bool(token.whitespace_)

            return Doc(self.vocab,words=words, spaces=spaces)

__all__ = ['Chinese']

---

语言属性

zh里面自定义的.py文件内容，lex_attrs，morph_rules，stop_words，syntax_iterators，tag_map这五个.py文件可以从其他语言比如en中拷贝后翻译。下面看看怎么修改：

1、lex_attrs.py

这个文件中的_num_words =后面的内容直接写成中文就行了，如下

……

_num_words = ['零', '一', '二', '三', '四', '五', '六', '七',  '八', '九', '十', '十一', '十二', '十三', '十四', '十五', '十六', '十七', '十八', '十九', '二十', '三十', '四十', '五十', '六十', '七十', '八十', '九十', '百', '千', '百万', '十亿', '万亿', '百兆', 'gajillion', 'bazillion']

……

2、morph_rules.py

翻译MORPH_RULES =后面的I，me，you，he…这些在冒号左边的元素。

MORPH_RULES = {

    "PRP": {

        "我": {LEMMA: PRON_LEMMA,  "PronType": "Prs", "Person": "One",  "Number": "Sing"},

……

在中文里“我”和“他”“她”在主语和宾语时不发生变形，所以，没有I和me的区别，中文“我” “他”“她”的定义为：

"我":  {LEMMA: PRON_LEMMA, "PronType":"Prs", "Person": "One", "Number":"Sing"},

"他":  {LEMMA: PRON_LEMMA, "PronType":"Prs", "Person": "Three", "Number":"Sing", "Gender": "Masc"},

"她":  {LEMMA: PRON_LEMMA, "PronType":"Prs", "Person": "Three", "Number":"Sing", "Gender": "Fem"},

其他还有，我们，他们，她们等等定义方式与英文不同。

3、stop_words.py

将下载的中文停用词表内容拷贝到STOP_WORDS = set(""" 里，跟在英文后面就行。

4、syntax_iterators.py

语法分析，这个先直接用en里的吧

5、tag_map.py

先直接用en的。

现在zh的基本属性算是设置完了，接下来可以创建一个zh model。

---

导入fasttext训练的vector

Spacy 目前支持结巴中文分词，可以使用Spacy导入预训练的wordvector，最后测试基于wordvector的词语相似度。

这里使用examples中的vectors_fast_text.py，导入一个fasttext训练的vec文件。

python  vectors_fast_text.py ./XXXXXX.vec zh

指定vector的路径，指定语言code。

运行完成后会生成zh_model目录，也就是语言模型了，目录结构如下：

zh_model

├──meta.json

├──tokenizer

└──vocab

    ├──key2row

    ├──lexemes.bin

    ├──strings.json

    └──vectors

现在，就可以通过spacy.load(“./zh_model”)加载了。

但是到此为止还不能进行NER，Parser，TextClassifier等等这些操作，需要训练这些模型，添加到pipline里，参见 训练分析模型。

文中完整代码可参考 https://github.com/jeusgao/spaCy-new-language-test-Chinese