前两篇分别介绍了NLP的通用框架和预处理库,这一篇介绍一些其他同样流行的库
Huggingface
流行度:5星
知道Transformer和BERT的人应该都知道这个库,它提供了很多流行的基于Transformer的实现,比如GPT2、BERT, RoBERTa等, 他们的代码实现非常清晰。在其官方repo中,把脚本按任务进行了区分,比如语言模型、文本生成、问答等。Huggingface使普通人可以用迁移学习的方式轻松使用当前最先进的模型,非常棒。
Gensim
流行度:3星
官网:https://radimrehurek.com/gensim/
Gensim可以做主题建模、文本摘要、语义相似度等任务,当初word2vec刚流行起来的时候,很多人会用Gensim来自己训练,这两年随着其他库的崛起,gensim似乎用的人较少了。
OpenNMT
流行度:3星
用于做机器翻译的一个库,没有用过,不宜做过多介绍。
Rasa
Rasa用于做对话机器人,之前尝试过,值得学习。
译自
[1] https://towardsdatascience.com/top-nlp-libraries-to-use-2020-4f700cdb841f
网友评论