自然语言处理之gensim库使用

作者: 读书三万本 | 来源:发表于2020-09-16 21:44 被阅读0次

    但凡谈及自然语言处理,我们都会想到词向量,那么怎么快速地获得词向量呢?最简单的方法就是word2vec。本文不深究word2vec的原理,网上很多细致深入的解读,大家可以自行搜索。今天总结一下如何快速训练自己的词向量,作为参考手册。

    1、 语料

    丰富、高质量的语料是词向量成功第一步。

    前两天学到一个名词,叫自监督学习,word2vec就是其中一种。自己监督自己,很容受到噪声的干扰,如果数据不干净,结果也会谬以千里。

    word2vec虽然不是统计算法,但是训练过程中很大程度上在理解上下文,在理解共现关系。丰富的语料,才能保证对词语正确的理解。很多低频词由于训练不足,词向量基本是随机初始化的,导致在计算词语top-n相似词语的时候出现一些匪夷所思的噪声。

    所以请一定多获取数据,多思考怎么把数据过滤得更干净。

    2、分词

    词向量,词向量,故名思义,首先要有词语,使用分词工具把语料分割为词语序列。

    中文分词哪家强?常用的有jieba、ltp(哈工大)、thulac(清华)...这几种分词工具各有优劣。不过对于具体领域的任务,我们通常通过加载额外的领域词典,来对分词工具进行补充。这里可能还涉及领域内的新词发现,不展开了。

    如果你觉得这些工具都是垃圾,可以自行训练分词模型,常用的有动态规划,隐马尔可夫,以及深度学习分词算法。

    3、构建词向量模型

    gensim正式登场,其实可以直接使用word2vec库,但是个人觉得gensim库功能更全面,推荐使用。

    • 读取语料,如果你的数据很少,那就简单,把数据全部读到内存中。存到一个二位数组里,[[w1,w2,...], ...], 里面的数组表述文本,外面表示所有文本的集合。但是当你的语料很大时,建议逐步加载。官方建议定义一个数据读取的类:
    class MyCorpus(object):
        """An interator that yields sentences (lists of str)."""
        def __init__(self, corpus_file, stopwords_dict=None):
            self.corpus_file = corpus_file
            self.stopwords_dict = stopwords_dict
    
        def __iter__(self):
            count = 0
            for line in open(self.corpus_file):
                # assume there's one document per line, tokens separated by whitespace
                if self.stopwords_dict is not None:
                    # 过滤停用词
                    line_seg = line.split(" ")
                    line_seg = [w for w in line_seg if w not in stopwords_dict]
                    line = " ".join(line_seg)
                count += 1
                if count % 10000 == 0:
                    print(f"load {count} lines ...")
                yield utils.simple_preprocess(line)
    

    也可以使用gensim的函数:gensim.models.word2vec.PathLineSentences。

    • 模型训练,
    sentences = MyCorpus(input_file, stopwords_dict=stopwords_dict)
    gensim.models.Word2Vec(sentences, size=vec_size, window=5, min_count=5, sample=1e-5, workers=8, sg=0)
    model.wv.save_word2vec_format(output_file, binary=False)
    

    其中size表示词向量的维度;window表示生成训练数据的窗口;min_count表示最小的词频,小于最小词频的词语会被直接过滤掉,不会参与模型训练;sample是正样本降采样的概率大小,来降低高频词的训练次数,避免过度拟合;worker多线程数;sg选训练模式,1表示使用skip-gram(通过当前词语预测上下文词语),0表示使用cbow(通过上下文词语预测当前词语)。

    最终通过model.wv.save_word2vec_format把模型保存下来。

    4、应用

    词向量的应用,最直观的就是计算近义词了,比如你输入“如花”,可能召回“似玉”。

    • 加载模型
     model = gensim.models.KeyedVectors.load_word2vec_format(output_file)
    
    • 计算top-n相似词
    topn_simi_words = model.most_similar("如花", topn=K)
    

    除计算近义词,比较炫酷的应用是通过词向量减法来获取一些潜在关系,比如王子-公主=国王-王后,这也是当年词向量出来后,给的demo,让人觉得眼前一亮。此外,现在训练深度学习模型,通常喜欢预训练词向量,克服标注数据不足的问题。

    词向量让我们能够从几何的角度理解语义,并可视化,是一个从抽象到具体的炫酷过程。虽然咱们只是观众,忍不住要欢呼,牛逼!词向量很容易推广到其他类型的iterm,只要能够能到有意义的iterm序列,就能得到iterm向量。最近有野心者觉得一切皆可embedding,一切可以向量化,你觉得可能么?

    相关文章

      网友评论

        本文标题:自然语言处理之gensim库使用

        本文链接:https://www.haomeiwen.com/subject/banhyktx.html