2.jiagu使用

Jiagu以BiLSTM等模型为基础，使用大规模语料训练而成。将提供中文分词、词性标注、命名实体识别、情感分析、知识图谱关系抽取、关键词抽取、文本摘要、新词发现、情感分析、文本聚类等常用自然语言处理功能。

具体参考https://github.com/ownthink/Jiagu

import jiagu

# 分词，词性标注，命名实体模块

def model_01():

    text = '厦门市美亚柏科信息股份有限公司，邓叶勋任自然语言处理算法工程师一职'

    jieba_words = jiagu.seg(text)

    print(jieba_words)

    words = jiagu.seg(text)

    print(words)

    jiagu.load_userdict(['美亚柏科信息股份有限公司','邓叶勋'])

    words = jiagu.seg(text)

    print(words)

    pos = jiagu.pos(words)

    print(pos)

    ner = jiagu.ner(text)

   # 更改 context = self.START + list(words) + self.END

    print(ner)

# 知识图谱关系抽取

def model_02():

    # text = '吻别是由张学友演唱的一首歌曲'

    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学'

    knowledge = jiagu.knowledge(text)

    print(knowledge)

# 关键词抽取

def model_03():

    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。'

    keywords = jiagu.keywords(text)

    print(keywords)

# 文本摘要

def model_04():

    text = '新疆大学（Xinjiang University），简称“新大”，位于新疆维吾尔自治区首府乌鲁木齐，是世界一流大学建设高校、全国重点大学、国家“211工程”重点建设高校、国家西部大开发重点建设高校、中西部高校基础能力建设工程高校、中国政府奖学金来华留学生接收院校、国家建设高水平大学公派研究生项目高校、”卓越工程师教育培养计划“高校、”卓越法律人才教育培养计划“高校、教育部与新疆维吾尔自治区人民政府合作共建高校、中西部“一省一校”国家重点建设大学（Z14）联盟成员、中国—中亚国家大学联盟发起高校、全国深化创新创业教育改革示范高校。 新疆大学前身是创办于1924年的新疆俄文法政专门学校。1935年1月改建为新疆学院，1960年10月1日，正式成立新疆大学，1978年被国务院确定为新疆唯一的全国重点大学，1997年被列入国家“211工程”，2000年被确定为国家西部大开发重点建设高校。2000年12月30日，新疆大学与原新疆工学院合并组建新的新疆大学。2004年，学校成为新疆维吾尔自治区人民政府、教育部“区部共建”高校。2017年6月，新疆大学被教育部列入国家“双一流”建设战略布局中42所“世界一流大学”建设之列。2018年，列入“部省合作共建高校”序列。 '

    summarize = jiagu.summarize(text, 1)

    print(summarize)

# 情感分析

def model_05():

    text = '艾略特波浪理论是我的最爱'

    text = '很讨厌还是个懒鬼'

    text = '我喜欢你'

    sentiment = jiagu.sentiment(text)

    print(sentiment)

# 文本聚类

def model_06():

    docs = ['百度深度学习中文情感分析工具Senta试用及在线测试',

            '情感分析是自然语言处理里面一个热门话题',

            'AI Challenger 2018 文本挖掘类竞赛相关解决方案及代码汇总',

            '深度学习实践：从零开始做电影评论文本情感分析',

            'BERT相关论文、文章和代码资源汇总',

            '将不同长度的句子用BERT预训练模型编码，映射到一个固定长度的向量上',

            '自然语言处理工具包spaCy介绍',

            '现在可以快速测试一下spaCy的相关功能，我们以英文数据为例，spaCy目前主要支持英文和德文']

    cluster = jiagu.text_cluster(docs)

    print(cluster)

if __name__ == '__main__':

    model_01()

    model_02()

    model_03()

    model_04()

    model_05()

    model_06()