前言
TF-IDF是在文本挖掘和信息检索领域最常用（也是最简单）的加权统计方法，笔者曾经在大学选修过NLP和信息检索方面的课程，其中都讲到了TF-IDF，并且在工作中使用得很多，比如分析用户发帖、商品评论等。本文就来非常粗浅地介绍一下。
TF-IDF
TF-IDF实际上是两个统计量的乘积，即词频（term frequency, TF）和逆向文档频率（inverse document frequency, IDF）。它们各自有不同的计算方法。
词频（TF）
TF就是一个文档（去除停用词之后）中某个词出现的次数。它用来度量词对文档的重要程度，TF越大，该词在文档中就越重要。
但是，由于长文档比短文档包含更多的词，简单地选用原始词频（自然出现的次数）会造成较大的偏差，所以在生产环境下总是要进行改进。将词t在文档d中的原始词频记作ft,d，主要有以下三种改进方法：
-
除以文档的总词数，即
简单直接。
-
对数正规化，即
对数函数y=logx的特点是随着x值的增长，y的增长趋势会逐渐放缓，所以这种方式会更加削弱超高频热词的影响。
-
双正规化，即
该方法以文档中最大的原始词频为分母，而不是总词数，这样相对性更好（当然要多一步算出最大原始词频的过程）。通过参数K能够灵活调节原始词频的权重，可以根据实际情况设定，没有特殊需求可以设为0.5。
逆向文档频率（IDF）
所谓逆向文档频率，是指文档集合中的总文档数除以含有该词的文档数，再取以10为底的对数，即
其中D表示文档集合，N表示D含有的总文档数。它用来度量词对文档集合的重要程度。也就是说，如果含有某个词的文档数越少，IDF值越大，说明该词的特殊性越好，区分度越大。
一般来讲，计算IDF用上述式子已经足足够用了。它也有一些变种，主要的有以下两种（nt为含有词t的文档数）：
-
平滑处理，即
-
用所有t中最大的nt值来修正，即
意义与优缺点
较高的词频与较高的特殊性会产生较大的TF-IDF值，所以TF-IDF可以非常方便地提取文档中的关键词（特征），比NLP领域其他提取关键词的算法（TextRank、LSA/LDA等）都要简单得多，所以应用广泛。根据统计，全世界有83%的基于文本的推荐系统都使用了TF-IDF。
但是，单纯以TF和IDF这两个指标来衡量词的重要程度还是不够全面，因为有时那些真正重要的词出现得并不多，并且没有考虑到词在文档中出现的位置（标题和第一段话中出现的词有可能非常informative），所以TF-IDF大多应用在求快不求准的场合。
Spark MLlib中的TF-IDF
spark-example包中给出了一个TF-IDF的API用法示例，代码如下，简洁易懂。
object TfIdfExample {
def main(args: Array[String]) {
val spark = SparkSession.builder
.appName("TfIdfExample")
.getOrCreate()
val sentenceData = spark.createDataFrame(Seq(
(0.0, "Hi I heard about Spark"),
(0.0, "I wish Java could use case classes"),
(1.0, "Logistic regression models are neat")
)).toDF("label", "sentence")
val tokenizer = new Tokenizer().setInputCol("sentence").setOutputCol("words")
val wordsData = tokenizer.transform(sentenceData)
val hashingTF = new HashingTF()
.setInputCol("words").setOutputCol("rawFeatures").setNumFeatures(20)
val featurizedData = hashingTF.transform(wordsData)
val idf = new IDF().setInputCol("rawFeatures").setOutputCol("features")
val idfModel = idf.fit(featurizedData)
val rescaledData = idfModel.transform(featurizedData)
rescaledData.select("label", "features").show()
spark.stop()
}
}
可见，Spark MLlib将TF-IDF拆成了两个类来实现，分别是HashingTF和IDF。简单看看吧。
HashingTF
顾名思义，HashingTF使用了特征哈希的方法将词映射到固定长度的特征向量，setNumFeatures()方法用来设定特征的数量。来看看核心的transform()方法。
def transform(document: Iterable[_]): Vector = {
val termFrequencies = mutable.HashMap.empty[Int, Double]
val setTF = if (binary) (i: Int) => 1.0 else (i: Int) => termFrequencies.getOrElse(i, 0.0) + 1.0
val hashFunc: Any => Int = getHashFunction
document.foreach { term =>
val i = Utils.nonNegativeMod(hashFunc(term), numFeatures)
termFrequencies.put(i, setTF(i))
}
Vectors.sparse(numFeatures, termFrequencies.toSeq)
}
private def getHashFunction: Any => Int = hashAlgorithm match {
case Murmur3 => murmur3Hash
case Native => nativeHash
case _ =>
// This should never happen.
throw new IllegalArgumentException(
s"HashingTF does not recognize hash algorithm $hashAlgorithm")
}
哈希方法有两种，一种是Murmur3，一种是内置的hash code，然后会调用Utils.nonNegativeMod()方法对特征数取余。为了避免发生过多的冲突，可以将numFeatures设得大一些，即对特征向量升维。
IDF
IDF接收HashingTF产生的特征数据，并生成IDF模型。以下是fit()方法的源码。
def fit(dataset: RDD[Vector]): IDFModel = {
val idf = dataset.treeAggregate(new IDF.DocumentFrequencyAggregator(
minDocFreq = minDocFreq))(
seqOp = (df, v) => df.add(v),
combOp = (df1, df2) => df1.merge(df2)
).idf()
new IDFModel(idf)
}
DocumentFrequencyAggregator实例用于计算文档频率（即DF），然后才调用idf()方法计算IDF。
def idf(): Vector = {
if (isEmpty) {
throw new IllegalStateException("Haven't seen any document yet.")
}
val n = df.length
val inv = new Array[Double](n)
var j = 0
while (j < n) {
if (df(j) >= minDocFreq) {
inv(j) = math.log((m + 1.0) / (df(j) + 1.0))
}
j += 1
}
Vectors.dense(inv)
}
最后通过IDF模型的transform()方法计算TF和IDF的乘积，得出最终结果。传入的向量v就是TF向量。
def transform(idf: Vector, v: Vector): Vector = {
val n = v.size
v match {
case SparseVector(size, indices, values) =>
val nnz = indices.length
val newValues = new Array[Double](nnz)
var k = 0
while (k < nnz) {
newValues(k) = values(k) * idf(indices(k))
k += 1
}
Vectors.sparse(n, indices, newValues)
case DenseVector(values) =>
val newValues = new Array[Double](n)
var j = 0
while (j < n) {
newValues(j) = values(j) * idf(j)
j += 1
}
Vectors.dense(newValues)
case other =>
throw new UnsupportedOperationException(
s"Only sparse and dense vectors are supported but got ${other.getClass}.")
}
}
The End
Saturday night，时间所限，写得略有些粗糙，看官将就一下吧。
民那晚安晚安。
网友评论