这里保存一个TF-IDF 的python实现，供以后参考。

TF-IDF介绍

TF

这里就是Term Frequency，表示一个词在一个文档中的出现频率，在一个文档中出现次数越高的词越重要。计算公式如下(i 为word，j 为文档)：

IDF

IDF表示一个词在越多的文档中出现越不重要，比如一些stop words，这里是总文档数除以词i所出现的文档数，计算公式如下

TF-IDF

tf_idf这里是tf和idf相乘即可。

python 实现

代码中如果有错请大家评论提醒，以免误人子弟：》

from math import log10
#docList is the corpus with each element a doc, each doc is a list of words 
def tfidf(docList):
    docNum=len(docList)
    term_df = dict()
    for doc in docList:
        for term in set(doc):
            if term not in term_df:
                term_df [term]=1.0
            else:
                term_df[term]+=1.0
            
    for term in term_df:
        term_df[term] = log10(docNum/term_df[term])
        
    term_tfidf=dict()
    doc_id=0
    for doc in docList:
        term_tfidf[doc_id] = dict() 
        term_tf = dict()
        for term in doc:
            if term not in term_tf:
                term_tf[term]=1.0
            else:
                term_tf[term]+=1.0
        docLen=len(doc)
        for term in doc:
            tfidf = term_tf[term]/docLen * term_df[term]
            term_tfidf[doc_id][term] =tfidf
        doc_id+=1
    
    return term_tfidf;