美文网首页机器学习算法
目前常用的自然语言处理开源项目/开发包大汇总

目前常用的自然语言处理开源项目/开发包大汇总

作者: 惠洋热熔胶网膜 | 来源:发表于2018-11-26 10:09 被阅读187次

    中文主要有:NLTK,FoolNLTK,HanLP(java版本),pyhanlp(python版本),Ansj,THULAC,结巴分词,FNLP,哈工大LTP,中科院ICTCLAS分词,GATE,SnowNLP,东北大学NiuTrans,NLPIR,;

    英文主要有:NLTK,Genism,TextBlob,Stanford NLP,Spacy。英文的开源NLP工具主要参见StackoverFlow-java or python for nlp

    相关问题&文章:

    (1)如何用 Python 中的 NLTK 对中文进行分析和处理? 这个问题下的回答也详说了其他的语音处理包

    (2)中文分词项目总结

    详细介绍

    HanLP:HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。

    开发语言:Java

    网址:hankcs/HanLP

    开发机构:大快搜索

    协议:Apache-2.0

    功能:非常多,主要有中文分词,词性标注,命名实体识别,关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析,文本分类:情感分析,word2vec,语料库工具

    活跃度:github star超过4千5,近期(201711)仍在保持更新

    Ansj中文分词:一个基于n-Gram+CRF+HMM的中文分词的java实现.

    开发语言:Java

    网址:NLPchina/ansj_seg

    协议:Apache License 2.0

    功能:中文分词.中文姓名识别 . 用户自定义词典,关键字提取,自动摘要,关键字标记

    性能:分词速度达到每秒钟大约200万字左右(mac air下测试),准确率能达到96%以上

    活跃度:github star数量超过3500,近期(2017.11)仍在保持更新

    THULAC:一个高效的中文词法分析工具包,具有中文分词和词性标注功能。

    开发语言:

    网址:THULAC:一个高效的中文词法分析工具包

    开发机构:清华大学自然语言处理与社会人文计算实验室

    协议:研究目的免费开放源代码,商用目的需洽谈许可证

    功能:中文分词和词性标注

    感谢石墨用户@hain的补充

    Synonyms:中文近义词工具包

    开发语言:Python

    开发机构:个人

    协议:MIT

    功能:获取近义词集合,句子相似度计算

    性能:见网站

    活跃度:~1k Star

    结巴分词:Python中文分词组件

    开发语言:Python

    网址:fxsjy/jieba

    开发机构:

    协议:MIT授权协议

    功能:中文分词

    FNLP:FNLP主要是为中文自然语言处理而开发的工具包,也包含为实现这些任务的机器学习算法和数据集。

    开发语言:

    网址:FudanNLP/fnlp

    开发机构:复旦

    协议:LGPL3.0许可证。

    功能:信息检索:文本分类新闻聚类;中文处理:中文分词词性标注实体名识别关键词抽取依存句法分析时间短语识别;结构化学习:在线学习层次分类聚类

    Genism:Gensim is a Python library for topic modelling, document indexing and similarity retrieval with large corpora. Target audience is the natural language processing (NLP) and information retrieval (IR) community.

    开发语言:Python

    网址:RaRe-Technologies/gensim

    协议:LGPL-2.1 license

    活跃度:github star数超过五千,近期(201711)仍在更新

    TextBlob:Simple, Pythonic, text processing--Sentiment analysis, part-of-speech tagging, noun phrase extraction, translation, and more.

    开发语言:Python

    网址:sloria/TextBlob

    功能:情感分析、词性标注、翻译等

    活跃度:github star超过4千,近期(201711)仍在更新

    Spacy:spaCy is a library for advanced Natural Language Processing in Python and Cython. It's built on the very latest research, and was designed from day one to be used in real products. spaCy comes with pre-trained statistical models and word vectors, and currently supports tokenization for 20+ languages. It features the fastest syntactic parser in the world, convolutional neural network models for tagging, parsing and named entity recognition and easy deep learning integration. It's commercial open-source software, released under the MIT license.

    开发语言:python

    协议:MIT协议

    功能:功能很多,如tagging, parsing and named entity recognition等

    性能:功能强大,支持二十多种语言(然而目前还不支持中文,可以阅读官方文档了解更多信息https://spacy.io/usage/),号称是工业级强度的Python NLP工具包,区别于学术性质更浓的Python NLTK

    活跃度:star超过7千,近期(201711)仍非常活跃

    作者:鉴津Jackie

    相关文章

      网友评论

        本文标题:目前常用的自然语言处理开源项目/开发包大汇总

        本文链接:https://www.haomeiwen.com/subject/zimvqqtx.html