spacy对中文进行向量化

import spacy # 导包

# 加载模型，并排除掉不需要的components

nlp = spacy.load("zh_core_web_sm", exclude=("tagger", "parser", "senter", "attribute_ruler", "ner"))

# 对句子进行处理

doc = nlp("自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。")

# for循环获取每一个token与它对应的向量

for token in doc:

# 这里为了方便展示，只截取5位，但实际该模型将中文词编码成了96维的向量

    print(token.text, token.tensor[:5])

在官方提供的模型中，具有tok2vec这个组件，说明该模型可以对词进行embedding，很方便。最终的输出为：

自然 [-0.16925007 -0.8783153 -1.4360809 0.14205566 -0.76843846]

语言 [ 0.4438781  -0.82981354 -0.8556605  -0.84820974 -1.0326502 ]

处理 [-0.16880168 -0.24469137  0.05714838 -0.8260342  -0.50666815]

是 [ 0.07762825  0.8785285  2.1840482  1.688557  -0.68410844]

... // 略

和 [ 0.6057179  1.4358768  2.142096  -2.1428592 -1.5056412]

方法 [ 0.5175674  -0.57559186 -0.13569726 -0.5193214  2.6756258 ]

。 [-0.40098143 -0.11951387 -0.12609476 -1.9219975  0.7838618 ]

（注：spacy的中文包安装代码 python -m spacy download zh_core_web_sm）