2019-03-29

随着网络购物所能涵盖的物品类型越来越广泛，人们逐渐发现推荐系统中的CF推荐算法和CB推荐算法并不能很好的适应某些特殊物品的推荐需求。例如，更新换代非常快而人们又通常不会频繁购买的电子产品等。对于这些产品来说，其各方面的性能参数在几年之间就会有很大变化，代表着历史偏好的用户画像并不能很好的反映用户当前的购买需求，于是就需要推荐系统将用户的当前需求作为重要的信息参考源。人们发现可以利用物品的参数特征等属性形成约束知识，再将用户对物品的特定需求刻画为约束条件，然后经过对物品集合的约束满足问题的求解，就可以得到用户所期望的物品了。

在视频推荐领域中，基于约束的推荐可以被应用在针对某一特定类型影片的深度垂直搜索中，通常这类影片具有区别于其他类型影片的专业特色属性，而相对应的用户对此类型的影片也有着一定程度的专业性了解。例如，音乐爱好者在搜索古典音乐纪录片时，他们可能会倾向于将影片中所涉及的某些音乐元素作为约束条件。

通过一个约束知识示例，对约束满足问题和关联推荐算法的运作流程进行介绍。

1.约束知识示例

对于音乐爱好者来说，他们对古典音乐纪录片所看重的属性可能是影片话题(如钢琴家、小提琴家、指挥家等）、影片所涉及的音乐家或者音乐团体、影片时长及发行年代等。倘若对这些独具特色的属性来对古典音乐纪录片进行表示时，就可以得到一个集合示例。然后有了这个集合后，就可以将基于约束知识的推荐过程视为约束满足问题的解决过程。约束满足问题可以通过以下定义得到明确描述。

1.创建推荐任务

推荐任务是以元组（R,I)的形式表示出来的，其中用集合R表示目标用户对物品的特定需求，即对物品的约束条件，用集合I表示一个物品集合。上例中推荐任务的完成目标是从集合I中确定出能够满足集合R要求的物品。

当推荐系统找不到能够满足目标用户所给出的约束条件的物品时，为了仍要生成推荐物品列表，系统就需要对约束条件做一定程度的修改，从而主动提出某些备选方案。

关联知识与关联推荐算法

关联知识以关联规则为表现形式，用以描述数据库中数据之间关联性的知识。在推荐系统领域中，可以通过对用户画像中关联规则的挖掘来分析用户习惯，发现物品之间的关联性，并利用这种关联性指导系统做出推荐。典型的关联规则挖掘问题是美国沃尔玛超市分析发现的“尿布与啤酒”现象就是一个尤为经典的案例。在视频推荐领域中我们也常能发现关联推荐算法的身影，以豆瓣电影的推荐为例，在世界著名古典音乐指挥家卡拉扬的记录片“卡拉扬——至臻完美”的影片信息页面中，我们可以看到豆瓣的推荐系统在其推荐领区域会显示出对“钢琴的艺术”、“小提琴家的艺术”等音乐纪录片的推荐，而不仅仅是“指挥的艺术”。实际上，喜欢古典音乐的观影者确实会观看上述影片，她们更希望系统不局限于某个类别中基于影片相似度的推荐如(继续推荐一些介绍其他指挥家的影片或介绍卡拉扬的其他影片，而是出现一些基于影片关联性的推荐(如推荐出一些介绍其他古典音乐大师的记录片）。

1.关联推荐算法流程

算法输入：n个用户画像。

算法输出：针对目标用户U的Top-N的推荐列表。

1.从系统中的n个用户画像中挖掘出所有强关联规则，建立集合Pu以表示目标用户U尚未观看但极可能感兴趣的视频。

2.再次使用置信度对集合Pu中的视频进行高低排序。

3.取出排序列表中的前N个视频构成Top-N推荐列表。

由于对系统中全体用户的画像进行关联规则挖掘意义不明显且计算量大，所以基于关联规则的推荐算法常与CF推荐算法混合使用。在这类混个方案中，使用了CF推荐算法中的最近邻算法将上表中的用户画像数目n限定在目标用户的最邻近范围内，使得关联规则挖掘算法所处理的数据规模被有针对性的限制咋一定范围内。同时，为了避免由于这种数据规模的限制而导致关联规则的挖掘结果受限，这类混合方案也会将CF推荐算法的结果作为对基于关联规则推荐算法结果的有效补充，纳入到最终的推荐列表中。

并行式混合

并行式混合方法包括加权式、切换式和混杂式，其共同点是运用特定的混合机制将系统内的多种推荐算法的输出结果加以整合形成最终的输出。

加权式混合方法式众多混合方法中最易设计出混合推荐系统的一种方法，它是将系统中不同的推荐算法所生成的物品评分、物品排序等推荐结果进行线性的加权组合，生成最终的推荐结果。加权式混合方法的过程分为训练阶段、生成候选物品阶段和生成评分阶段。在训练阶段，各推荐算法使用相同的训练数据集进行训练，直到能为测试用户提供候选物品的程度为止，之后进入到生成候选物品阶段。在生成候选物品阶段，各推荐算法对同一用户画像进行候选物品的生成。需要注意的是，各推荐算法所能覆盖的物品范围是有差异的，例如，CF推荐算法只能覆盖到已评分的物品，而CB类推荐算法可以覆盖到任何物品，在确定候选物品的范围时就要考虑到这一情况。在本阶段的最后，各推荐算法生成的候选物品一般要通过并集或交集的形式来结合。在生成评分阶段，各推荐算法对上一阶段生成的候选物品集中每一个候选物品进行评分，系统再按照一定的加权方式(权重分配)将同一物品的各方评分综合为一个最终的分数，并按此分数对候选物品排序作为输出。

使用加权式混合方法的好处在于可以将系统的全部性能以最直接的方式应用在推荐过程中，而且在后期可以很容易对系统中的各推荐算法的权重分配进行调整。但需要注意的是，使用加权混合方法的一个隐含 假设是系统中各推荐算法在用户和物品范围上的性能应该在一定程度上是统一的。很显然CF类推荐算法在较新物品上的覆盖能力很弱，将之与CB类推荐算法进行混合时就需要对它们的候选物品空间做调整，这其实是牺牲了一部分CB类推荐算法的优势。

2.切换式混合方法是指系统会根据推荐时的具体情况在以上各种推荐算法中做切换，选择一种最适合的推荐算法，这种方法考虑到了不同的推荐算法对用户和物品范围的覆盖能力，对于不同的用户画像，系统会选择出不同的推荐算法来匹配。

切换式混合方法的过程分为训练阶段、算法选择阶段、生成候选物品阶段和生成评分阶段。

在训练阶段，各推荐算法使用相同的训练数据进行训练，以达到能为测试用户提供候选物品的程度，之后进入算法选择阶段。在算法选择阶段，算法切换标准的定义是非常重要的环节，此后系统会依据算法切换的标准，选择出最适合当前推荐情景的算法，一旦某一种算法被选中，则该算法将单独进入之后的生成候选物品阶段和生成评分阶段中。

切换式混合方法由于要考虑算法切换所依据的标准，所以增加了推荐过程的复杂度。另一方面，切换式混合方法考虑各推荐算法所能作用的用户范围，使用切换式混合方法的系统能对其中各推荐算法的优势与劣势保持很好的敏感性，这是切换式混合方法的显著优点。

混杂式

由于用户对物品的着眼点不同，而推荐算法所生成的推荐结果往往是代表各自的观察角度的，所以单一的推荐结果并不能满足各类人群的需求。为了保证最终的推荐结果能具有多样性，就可以使用混杂式方法将多种推荐算法的推荐结果按照一定的配比加以组合，同时呈现给用户。整个混合过程分为训练阶段、生成候选物品阶段和生成评分阶段。

在训练阶段，各推荐算法使用相同的训练数据进行训练，以达到能为测试用户提供候选物品的程度，之后进入生成候选物品阶段，在生成候选物品阶段和生成评分阶段，各推荐算法根据同一用户画像分别生成候选物品集，并对这些候选物品集种的候选物品进行排序，最后系统将各推荐算法的排序结果综合呈现出来。

整体式混合

整体式混合方法包括特征组合、特征补充，他们的共同点是通过对主推荐算法的输入数据进行预先处理，扩展了主推荐算法可以利用的信息源数目，将多种推荐算法的特性整合到一起，实现推荐系统性能的提升。

1.特征组合  单一类型的推荐系统所能利用的信息源是有限的，如单纯的CF类推荐算法无法利用到物品画像这一CB类推荐算法所能利用的信息源。从信息源的扩展利用这一角度出发，在推荐系统内部加入区别于主推荐算法的辅推荐算法，特征组合式混合方法先借助辅推荐算法啊从附加信息源种提取出附加特征，再将这些附加特征属入基于其他信息源的主推荐算法中，使得主推荐算法能够使用到附加信息源的数据，增强了算法的推荐性能。(辅推荐算法中的不足，在主推荐算法中完全避开了）。

2.特征补充

特征补充式混合方法是先通过辅推荐算法对物品进行评分或分类，再将这些信息输入下一阶段的主推荐算法中，使得主推荐算法所能利用的数据被补充的更为丰富。他的优点是，无须对主推荐算法做修改，而是通过优化输入数据来加强主推荐算法的性能的，且设计基于特征补充式混合方法的推荐系统更加容易实现，另外，在特征组合式混合方法中，主推荐算法需要处理由辅推荐算法提供的大量高维数据，其本质是对双方提取的特征进行组合，而在特征补充式混合方法中，只有小规模的特征会被添加到主推荐算法的输入中，，其本质是对主推荐算法提取的特征进行补充。

流水线式混合

共同点是将各推荐算法按照一定次序依次运行，达到对推荐结果逐步优化的目的。

1.层叠式

当系统中的主推荐算法产生了一些难以区分排名先后的推荐结果时，就可以在其后加入次级推荐算法来针对上一阶段的粗糙排序做出更为精细的排序，这就是层叠式混合方法。

2.级联式

级联式混合方法与特征补充式混合方法有类似的架构，但这两种方法中由辅推荐算法输入主推荐算法中的数据类型非常不同，特征补充式混合方法是把辅推荐算法的整个学习模型作为主推荐算法的输入数据而级联式混合方法是把辅推荐算法的整个学习模型作为主推荐算法的输入数据，它是系统首先使用CB类推荐算法学习出可以表示用户画像的模型，然后CF类推荐算法利用这些信息稠密的模型达到最佳的推荐性能，其效果要比直接利用粗糙的评分数据好很多。

视频推荐评测

每年针对视频推荐都有大量论文发表。

面对众多的视频推荐算法，如何评价这些推荐算法的优劣目前并没有一个统一的标准。

接下来说的不但有助于大家客观评价一个视频推荐算法的好坏，更有益的作用是，可以根据这些评测方法来指导视频推荐算法的改进，从而得到更好的推荐结果。

一般来说，推荐系统评测主要考虑试验方法和评测指标两个方面。试验方法是指哪些数据去对一个待评测的推荐算法进行评价；测量指标是指用待评测算法的哪些指标进行比较，从而衡量哪个算法的性能更优异。

推荐系统评测的试验方法可分为用户调查、在线评测和离线评测三种方式

用户问卷只调查用户对于推荐结果的满意度。

在线评测就是设计在线用户试验，根据用户在线反馈来衡量推荐系统的表现，这种在线测试方法虽然可以直观的得到用户对系统的满意度等指标，但是从设计试验到施行试验整个过程所需的高额成本却是一般的科研工作者都无法负担的，所以这种测评方法一般用于商用视频推荐算法产品的测试，并不常见于科研工作中。

离线评测根据待评价的推荐系统在试验数据集上的表现来衡量推荐系统的质量，相对于在线评测，离线评测方法更方便经济，一旦数据集选定，只需要将待评测的推荐系统在此数据集上运行即可，在目前的研究工作中离线评价方式仍是科研工作人员的首选。

推荐系统常用的评测指标是准确度指标，它用于衡量该算法能够多准确的预测用户对视频的喜欢程度。准确度指标又有多种衡量方式，有的比较视频预测评分和真实评分的绝对差值，有的衡量视频预测评分和真实评分的相关性，有的不考虑具体评分，只考虑排名是否正确，除了这些准确度指标外，还需要从其他指标方面衡量一个视频推荐系统的好坏，比如准确度指标达到要求以后，所推荐的视频是否最大范围的覆盖了系统中尽可能多种类的视频？是否能够满足不同用户的个性化需求？

视频推荐试验方法：

在推荐测评系统中，从运营层面来说，一个用于商用的推荐算法从算法优化到最终上线的不同阶段，用到的试验方法也不尽相同，比如算法优化阶段，更多的是用离线测评的方法，使用大量的历史数据评价推荐算法的预测准确度等指标；上线前期，有些公司可能会将线上系统部署两套，其中一套运行的是原有推荐算法，另一套运行的是优化后的推荐算法，根据一段时间内这两套系统的单击率等指标评价推荐算法优劣；为了准确获得用户满意度，有些公司还会在算法上线之后的一段时间内，通过问卷调查的形式采集用户满意度数据，从而对推荐算法有个全面的评价。

在线测评

就是通过预定规则把真实线上用户分成几组，对不同组的用户采用不同的方案，通过用户的反馈或行为表现比较方案的优劣。目前最常见的在线评测试验方法是A/B测试，即针对同一个推荐目标，给出两套算法方案A和B，让一部分用户使用方案A,另一部分使用方案B，再通过用户的行为日志分析比较两套推荐算法的优劣。A/B测试的宗旨是：1.同时运行两个或两个以上方案；

2.两个方案只有一个变量不同，其他条件均相同。

3.有明确的评价指标用于评价两套方案的优劣；

4.试验过程中，同一个用户从始至终都应该只接触一个方案。

说明，虽然实验名字是A/B试验，但是它并不局限于比较两种方案，也可以并行比较多种方案，只要这些方案满足上述宗旨条件即可。A/B测试最常用的场景是网页优化，此时的评价指标是网页应用的单击率、转化率等网页指标。

Youtube也曾经用A/B测试的方法验证其视频推荐算法的推荐准确度，其评价指标包括单击率、长单击率（即只有最终引领用户进入视频观看单击才算做有效单击）、会话时间长短、观影前时段（即从进入网站到进入稳定观看状态之间所用的时间）、覆盖率等。