推荐系统实践-标签系统

此文是根据《推荐系统实践》部分整理而来。

PART 1 介绍

GroupLens在一篇文章中表示目前流行的推荐系统基本上通过3种方式联系用户兴趣和物品：

• 喜欢过的物品
• 有相似兴趣的用户
• 特征

其中，这里的特征有不同的表现方式，比如尅表现为物品的属性集合，也可以表现为隐语义向量。本文将讨论一种重要的特征表现方式----标签。

标签应用一般分为两种：一种是让作者或者专家给物品打标签；另一种是让普通用户给物品打标签，也就是UGC的标签应用。

UGC的标签应用对用户来说有几个好处：

• 表达。标签系统帮助用户表达对物品的看法。
• 组织。打标签帮助用户组织喜欢的物品。
• 学习。打标签帮助用户增加对物品的了解。
• 发现。标签系统帮助用户更容易发现喜欢的物品。
• 决策。标签系统帮助用户判定是否去购买/使用某个物品。

PART 2 标签系统中的推荐问题

标签系统中的推荐问题主要有以下两个：

• 如何利用用户打标签的行为为其推荐物品（基于标签的推荐）？
• 如何在用户给物品打标签时为其推荐适合该物品的标签（标签推荐）？

为了研究上面两个问题，我们首先需要解答下面3个问题：

1. 用户为什么要打标签？
2. 用户怎么打标签？
3. 用户打什么样的标签？

第一个问题从两个维度进行探讨：

• 社会维度，有些用户标注是给内容上传者使用的，有些用户标注是给广大用户使用的。
• 功能维度，有些标注用于更好地组织内容，方便用户的查找，另一些标注用于传达某种信息，比如照片的拍摄时间地点。

第二个问题，尽管每个用户的行为看起来的随机的，但是之前提到，用户行为中用户活跃度和物品流行度都是遵循着长尾分布。研究后发现标签流行度的分布也遵循长尾分布，下图横坐标是流行度k，纵坐标是流行度为k的标签总数n(k):

Paste_Image.png

第三个问题，用户会给物品打上奇奇怪怪的标签，分为以下几类：

• 表明物品是什么
• 表明物品的种类
• 表明谁的物品
• 表达用户的观点
• 用户相关的标签
• 用户的任务
• 类型
• 时间
• 任务
• 地点
• 语言
• 奖项
• 其他

PART 2 基于标签的推荐系统

之前的一个问题是：如何利用用户的标签数据提高个性化推荐结果的质量。
以豆瓣为例，将标签系统融入产品线，在每本书的页面上，都提供了这本书上用户最常打的标签，同时在用户给书做评价时，豆瓣也会让用户给图书打标签。最后，豆瓣利用标签将用户的推荐结果做了聚类，显示了对不同标签下用户的推荐结果，从而增加了推荐的多样性和可解释性。

一个用户标签行为的数据集一般由一个三元组的集合表示，其中记录(u,i,b)表示用户u给物品i打上了标签b，当然实际上维度会更多，这里只考虑最简单的形式。中间的实验设置略过，直接进入算法。

首先一个最简单的算法是：

1. 统计每个用户最常用的标签。
2. 对于每个标签，统计被打过这个标签次数最多的物品。
3. 对于一个用户，首先找到他常用的标签，然后找到具有这些标签的最热门物品推荐给这个用户。

对于上面的算法，用户u对物品i的兴趣公式如下：

Paste_Image.png

这里，B(u)是用户u打过的标签集合，B(i)是物品i被打过的标签集合，Nu,b是用户u打过标签b的次数，Nb,i是物品i被打过标签b的次数。这个算法被作者称为SimpleTagBased。

评测结果为：

Paste_Image.png

上面的公式会有很多缺点，以下逐条分析并且提出修改意见：

1. TF-IDF
   前面这个公式倾向于给热门标签对应的热门物品很大的权重，因此会降低新颖性，并且不能反映个性化的兴趣。在这里可以借鉴 TF-IDF的思想，对这一公式进行改进:

   
   Paste_Image.png

这里nb(u)记录了标签b被多少个不同的用户使用过，这个算法记为TagBasedTFIDF。下图给出了这个算法在两个数据集上的离线实验性能，可以看到所有指标上都比SimpleTagBased高。

Paste_Image.png

同理，借鉴TF-IDF的思想对热门物品进行惩罚，从而得到如下公式：

Paste_Image.png

ni(u)记录了物品i被多少个不同的用户打过标签，这个算法记为TagBasedTFIDF++。下图展示了这个算法的离线实验性能，和TagBasedTFIDF相比，除了多样性有所下降，其他指标都有明显提高。这一结果表明，适当惩罚热门标签和热门物品，在增进推荐结果个性化的同时并不会降低推荐结果的离线精度：

Paste_Image.png

2. 数据的稀疏性
   由于用户兴趣和物品是通过B(u)∩B(i)中的标签建立的，但是对于新用户或者新物品，这个集合中的标签数量会很少，为了提高推荐的准确率，我们可能要对标签集合做扩展，进行标签扩展有很多方法，其中常用的有话题模型，不过这里遵循简单的原则介绍一种基于邻域的方法。

标签扩展本质是对每个标签找到和它相似的标签，也就是计算标签的相似度。如果认为同一个物品上的不同标签具有某种相似度，那么当两个标签同时出现在很多物品的标签集合中时，我们就可以认为这两个标签具有较大的相似度。对于标签b，令N(b)为有标签b的物品的集合，n_{b,i}为给物品i打上标签b的用户数，我们可以通过如下余弦相似度公式计算标签b和标签b'的相似度：

Paste_Image.png

为了测试性能进行试验，对于曾经打过标签数少于20的用户，我们找到其所打标签的相关标签，然后将这些标签聚合排序，结果前20标签作为用户相关的标签，下表展示了离线实验的性能，相比之前而言，进行标签扩展确实能提高准确率和召回率，但可能会稍微降低推荐结果的覆盖率和新颖度。

3. 标签清理
   有些标签不能反应用户的兴趣，比如一个用户说一个物品“差”，那么就并不是他喜欢的标签。标签清理的另一个重要意义在于将标签作为推荐解释，如果我们要把标签呈现给用户，将其作为给用户推荐某一物品的解释，对标签的质量要求就很高。首先标签不能包含没有意义的停止词或者表示情绪的词，其次这些推荐解释里不能包含很多意义相同的词语。一般来说有以下清理方法：

• 去除词频很高的停止词；
• 去除因词根不同造成的同义词；
• 去除因分隔符造成的同义词。

为了控制标签的质量，很多网站也采用了让用户进行反馈的思想，即让用户告诉系统某个标签是否合适。

同样这里基于图的推荐算法也不介绍了。介绍下基于标签的推荐解释，这是基于标签的推荐的一个好处。举例豆瓣，豆瓣有一个标签云，表示用户的兴趣分布，标签的尺寸越大，表示用户对这个标签相关的图书越感兴趣。这样组织页面，首先提高了推荐结果的多样性，让用户自己根据他今天的兴趣选择相关的标签，从而得到推荐结果。同时，标签云也提供了推荐解释功能，其他的也不多做介绍，下图为豆瓣的页面：

Paste_Image.png

PART 4 给用户推荐标签

首先，给用户推荐标签有以下好处：

• 方便用户输入标签
• 提高标签质量

如何给用户推荐标签呢？

用户u给物品i打标签时，我们有很多方法可以给用户推荐和物品i相关的标签，比较简单的方法有 4 种：

• 给用户u推荐整个系统最热门的标签，称为PopularTags;
• 给用户u推荐物品i上最热门的标签，称为ItemPopularTags；
• 给用户u推荐他自己经常使用的标签，称为UserPopularTags;
• 前面两种的融合，该方法通过一个系数将上面的推荐结果线性加权，然后生成最终的推荐结果，称为HybirdPopularTags.

下图列出了PopularTags、ItemPopularTags、UserPopularTags三种算法在N=10（N为推荐标签数量）的准确率和召回率：

Paste_Image.png

结果看出，ItemPopularTags具有最好的准确率和召回率，这一点是直观的，因为用户兴趣广泛，基于物品的精度理应是最高的。

再看下HybirdPopularTags算法，下图给出了在不同显性融合系数α下的准确率和召回率：

Paste_Image.png Paste_Image.png

其中α=0.8时（ItemPopularTags权重更大），取得了最好的准确度，并且超过了ItemPopularTags的精度。

不过有一个缺点，就是对新用户或者不热门的物品很难有推荐结果，解决这个问题有两个思路：

• 从内容数据中抽取关键词作为标签；
• 针对有结果，但结果不太多的情况，进行标签扩展。