特征选择

1. TF-IDF原理以及利用其进行特征筛选
2. 互信息的原理以及利用其进行特征筛选

TF-IDF

1. 原理：

如何提取一篇文章的的关键词？

文章关键词：指能体现一篇文章或一部著作的中心概念的词语。指检索资料时所查内容中必须有的词语。
那么查找文章关键词需要，在文章中出现次数多，且是非停用词的词，且在文章中重要程度高的词。

如何衡量某个词的重要程度则为TF-IDF的重点部分，因为在文章中出现次数多的词语，有可能是常见词语比如：“中国”、“学习”等与文章中心概念不相关的词汇，为了筛选这样的词汇，则需要一个重要性调节系数，来衡量这个词是不是常见词。那么如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。

2. 词频（TF）

查找关键字前，统计词在文章中出现的次数

• 为了便于不同文章的比较，进行“词频”标准化
  
  或者
  

3. 逆文档频率（IDF）

在词频的基础上，要对每个词分配一个"重要性"权重。最常见的词（"的"、"是"、"在"）给予最小的权重，较常见的词（"中国"）给予较小的权重，较少见的词给予较大的权重。
此时需要一个语料库，用来模拟语言的使用环境

4. 计算TF-IDF
   
5. 利用TF-IDF进行特征筛选
   • 使用sklearn提取文本tfidf特征

def tfidf_weight_sklearn(words):
  '''
      使用sklearn提取文本tfidf特征
  '''
  vectorizer = CountVectorizer()      # 将词语转换成词频矩阵
  transformer = TfidfTransformer()    # 将统计每个词语的tf-idf权值
  tfidf = transformer.fit_transform(vectorizer.fit_transform(words))
  word = vectorizer.get_feature_names()   # 获取词袋模型中的所有词语
  weight = tfidf.toarray()
  weight = pd.DataFrame(weight,columns = word)
  return weight

• 使用gensim提取文本tfidf特征

def tf_idf_weight_gensim(words):
    '''
        使用gensim提取文本的tfidf特征
    '''
    word_list = [ sentence.split(' ') for sentence in words]
    # 赋给语料库中每个词(不重复的词)一个整数id
    dictionary = corpora.Dictionary(word_list)
    # 通过下面的方法可以看到语料库中每个词对应的id
    print(dictionary.token2id)
    new_corpus = [dictionary.doc2bow(text) for text in word_list]
    
    # 载入模型
    tfidf = models.TfidfModel(new_corpus)
    tfidf.save("my_model.tfidf")
    
    # 使用模型计算tfidf值
    tfidf = models.TfidfModel.load("my_model.tfidf")
    tfidf_vec = []
    for text in words:
        string_bow = dictionary.doc2bow(text.lower().split())
        tfidf_vec.append(tfidf[string_bow])
    
    return tfidf_vec

其中训练数据为以下数据：

corpus = [
    'this is the first document',
    'this is the second second document',
    'and the third one',
    'is this the first document'
]

gensim赋给训练数据的每个词的id如下：

词-id对应字典
第一句话词id对应TF-IDF值list
第一句话为'this is the first document'，但是由最终的结果可以看出最终结果去除了停用词the，可知gensim有自动去除停用词的功能；

• 利用python自己实现
  其中不依赖库的情况下，计算出的TF-IDF值准确性较低，仅仅作为练习

def get_tf(word_list, words_count):
    '''
        根据分词列表以及词频列表计算词频
    '''
    words_tf = []
    for i in range(len(word_list)):
        word_tf_dict = dict()
        for word in word_list[i]: 
            print(words_count[i][word])
            word_tf_dict[word] = words_count[i][word] / sum(words_count[i].values())
        words_tf.append(word_tf_dict)
    return words_tf


def get_contain(word, word_list):
    count = 0
    for text in word_list:
        if word in text:
            count += 1
    return count


def get_idf(word_list):
    # 统计包含该词的文档数
    all_text = []
    for text in word_list:
        all_text += text
    all_word = list(set(all_text))
    word_idf = dict()
    for word in all_word:
        word_count = get_contain(word, word_list)
        word_idf[word] = math.log(len(word_list) / (1 + word_count))
    
    return word_idf
            

def get_tfidf(words):
    '''
        手动实现TF-IDF
    '''    
    # 分词
    word_list = [sentence.split(' ') for sentence in words]
    # 统计词频
    sentence_list = []
    for sentence in word_list:
        sentence_list.append(Counter(sentence))
    # 计算tf值
    words_tf = get_tf(word_list, sentence_list)
    # 计算idf值
    words_idf = get_idf(word_list)
    # 计算TF-IDF
    tf_idf_weight = []
    for i in range(len(word_list)):
        tf_idf_dict = dict()
        for word in word_list[i]:
            tf_idf_dict[word] = words_tf[i][word] * words_idf[word]
        tf_idf_weight.append(tf_idf_dict)
    
    # 转成DataFrame
    tf_idf = pd.DataFrame()
    for word in words_idf.keys():
        value = []
        for text in tf_idf_weight:
            if word in text.keys():
                value.append(text[word])
            else:
                value.append(0.0)
        tf_idf[word] = value
        
    return tf_idf

互信息

1. 原理

• 点互信息PMI
  公式如下：
  

如果x,y不相关，则
如果x,y相关，则当二者相关性越大相比于则越大
在出现的情况下出现的条件概率除以本身出现的概率，自然就表示x跟y的相关程度。

• 互信息MI

用来衡量两个数据分布的吻合程度
其中值越大意味着结果与真实情况越吻合

公式如下：

其衡量的是两个随机变量之间的相关性，即一个随机变量中包含的关于另一个随机变量的信息量；
所谓的随机变量，即随机试验结果的量的表示，可以简单理解为按照一个概率分布进行取值的变量，比如随机抽查的一个人的身高就是一个随机变量；
其中互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和。

# 互信息
labels_true = [0, 0, 0, 1, 1, 1]
labels_pred = [0, 0, 1, 1, 2, 2]
mr.adjusted_mutual_info_score(labels_true, labels_pred)

完整代码见github