美文网首页
覆盖率|长尾物品发掘

覆盖率|长尾物品发掘

作者: 竹林徒儿 | 来源:发表于2018-05-04 13:37 被阅读0次
  • 关于长尾物品的一些汇总

覆盖率

如何评价推荐系统的优劣,可以通过推荐的内容覆盖率来衡量。当然它并不是唯一的准则....覆盖率顾名思义就是推荐商品占整个推荐池的比例,它描述了一个推荐系统对长尾商品的挖掘能力(推荐池即你想推荐的商品池子,由于大部分电商都有一些脏数据或者自己定义了推荐数据的来源,因此才会出现自己的推荐池。)。

然后我们应用了一些算法,得到了推荐结果。那么试想一下,你的推荐系统作用是什么?

  • 让热销更热销?
  • 让冷门更冷门?
    所有商品出现的几率都一样...
    上面两种场景,第二种或许才是大家期望的吧。如果推荐系统的覆盖率是100%,就意味着任何的商品内容都有可能出现在用户面前;而如果覆盖率只有10%,那么就意味着只能推荐十分之一的商品给用户,推荐的内容就太狭窄了。

然而覆盖率只能说明商品的种类问题,不能说明每种商品的出场频率。因此就需要额外的指标来说明了——基尼系数。


可用来作为衡量的指标

用户满意度

预测精准度

覆盖率

新颖性(不牺牲精度的情况下提高多样性,即新东西)

惊喜度(推荐结果和用户历史兴趣不相似,但却让用户满意)


现在的人们面对信息过载问题日益严重,好的个性化推荐将能够很好的提升用户体验,提高用户使用产品完成任务的效率,更好的留住用户,进一步扩大产品的盈利。

对于一些电商类的产品,个性化推荐也能帮助减少马太效应和长尾效应的影响,使商品的利用率更高,盈利增长。

  • 注:

马太效应:产品中热门的东西会被更多人看到,热门的东西会变得更加热门,而冷门的东西更加冷门。

长尾理论:某些条件下,需求和销量不高的产品所占据的市场份额,可以和主流产品的市场份额相比。

对于推荐系统的解释分为 4 部分:

image

链接:https://www.zhihu.com/question/23720851/answer/25449383
来源:知乎

  1. 从效果对比图上可以看到此系统的现有的推荐准确还是很低的,这个命中率反映的推荐列表整体和用户已有行为的关联关系,列表长度越小也能够反映相关性但是不稳定(比如用户下一首听的歌可能和最近的风格不同,但是和很久之前的喜好相似),但是需要多日的校验对比,更长的推荐列表可以提高覆盖率,区分算法的优劣更为明显。
  2. 命中率这么低是也不仅仅因为算法,因为这是离线校验,如果做成一个独立的模块给用户用户,用户的click肯定会增加.
  3. 每一点提升都有意义,对自己和对产品都有意义。

对于推荐系统,如何增加推荐商品的覆盖率?
推荐系统推荐商品的准确性是衡量推荐系统好坏的一个度量,但是对于某些业务需求而言,推荐商品的覆盖率也是一个指标。

比如说,系统中有10,000个商品,但是推荐系统推荐给用户的商品只有其中的100个,即使这100个推荐商品都非常精准,但是从10,000个商品中只推荐100个商品我们并不能说这是一个好的推荐系统。

准确率可以通过机器学习模型的优化来提升,但是覆盖率这个指标,我们该如何通过算法模型,或者其他方式在保证一定准确率的基础上增加推荐商品的覆盖率?

在推荐列表中留一定比例位置用于随机推荐那些冷门物品
假设推荐列表长度为10,留一个位置用来随机推荐那些冷门物品
感觉覆盖率立马就上去了
准确率的下降程度应该非常低


推荐系统指标评测——覆盖率与基尼系数的算法与应用
《长尾理论》精读
其实每个人的品味都不会和其他人完全相同,一旦我们发现更多更适合自己的选择,就更多的被它们吸引。这是长尾理论的人性本源。

过去的市场是由热门经济学主宰的,那是一个供给不足的时代,市场没法为每个人提供每一样东西,商店的货架、电视的频道、广播的波段都是有限的,这是个零和游戏,一样产品上架,就意味着要有另一样产品下架,所以商家只能选择提供最热门的产品,只有这样才能覆盖掉他们的货架成本,从而导致,人们的选择非常有限,仿佛所有的人都喜欢同样的电视节目和同样的明星。家里人都聚在一起过节,朋友们看同样的电视,听同样的歌。但现在不一样了,每个人都能找到自己更喜欢的东西,和与自己喜好相似的朋友们在一起。

我们的文化和经济重心正在加速转移,从需求曲线头部的少数主流产品和市场转向需求曲线尾部的大量利基产品和市场。在一个没有货架空间限制和其他供应瓶颈的时代,面向特定小群体的产品服务之和可以与主流热点具有同样的经济吸引力。更具体的来讲,市场中2%的大热门产品、8%的次热门产品与90%的非热门产品可以带来相同的利润。而在过去只有大热门产品与次热门产品才有被展示被出售的机会,因为后面90%的非热门产品所带来的利润在过去并不能覆盖掉他们被展示的成本,因为他们的数量太多,而单种产品带来的利润又太少,花本就有限的货架资源去展示它们是得不偿失的,但现在不同,这些长尾即非热门产品可以以一种几乎没有存储成本的方式存储在网络中,就将淘宝比作一家超市,而这家超市与传统超市的区别就在于淘宝几乎拥有着无限的货架资源,而且正因为每个人的品味都是独特的,所以几乎所有被展示出来的产品都至少有几个兴趣独特者去购买,这样,那剩下90%的非热门产品市场所蕴藏的不输于热门产品市场的利润,就能够被释放出来了,也就成为了新的增长点。

推动市场由热门经济学向长尾经济学转变有三种力量:第一种是生产普及的力量(生产者),第二种是传播普及的力量(集合器),第三种是供需相连的力量(过滤器)。

第一种,生产普及的力量,这种力量又分为两部分,一是生产工具的普及:现在谁都可以上传自己做的视频到B站,谁都可以写博客发布自己的文章,谁都可以传自己的开源项目到Github。不再一定需要价格高昂的专业设备以及专业人员的协助,当然那些东西有它们自己的市场。二是,版权保护意识的淡化:由于生产工具的普及以及各种传播平台的低门槛甚至更多的是无门槛,人们其实并不是主要为了商业利益去创作(共产主义),更多的人其实是为了声誉,他们希望自己的东西能够被更多志趣相投的人看到,而这种声誉,更可以转化成其他有价值的东西:工作、头衔、拥趸和各种各样的诱饵。就比如我写现在这篇文章,并没人给我钱,但我希望能有一个文集来记录自己的思想,以备不时之需。

第二种,传播普及的力量,本质是从原子到比特,同样分为两部分,一是市场门槛的降低:每个集合器都可以提供近乎无限的货架,允许越来越多的产品跨过那道障碍,找到属于自己的顾客群。二是对时空限制的超越,为第三种力量创造条件,对于原子来讲,一个有形物体在任意一个给定时刻只能呆在某一个地方,一个有形商店也不可能随时随地根据每一个顾客的独特兴趣重新布置商品。而对于比特来讲,可以在同一时间以不同形式出现在不同地方。为每个人在同一时间提供个性化的选择。

另外,对于一个集合器来讲,消费者喜欢一站式购物,他们希望自己正在寻找的东西一定就在某个地方等着他们,这就意味着,一个集合器中需要同时拥有头部和尾部的产品,如果只具有头部的产品,就难以满足用户的要求;而如果只供应尾部的产品,用户就会变得手足无措,不知该从哪里看起,他们会手足无措,因为所有的东西都是他们不熟悉的。同时供应头部和尾部商品的意义在于,你的起点是用户已了解的一个世界,而随后又能满足用户独特的个性化需求。

第三种,供需相连的力量,第一种力量让长尾壮大起来,第二种力量让长尾变得人尽可得,而第三种力量让人们在数之不尽的选择中找到自己的最爱,真正发挥出长尾市场的潜力,在一个无限选择的时代,统治一切的不是内容,而是寻找内容的方式。在热门经济学主宰的市场中,因为内容质量并没有绝对的衡量标准,一个人眼中的好东西很可能是另一个眼中的坏东西,如果一个生产者想让某种产品绝对符合某一类顾客的需求,那么,这种产品注定不会符合另一类顾客的需求,如果要保证产品有足够的销量,也就是几乎对所有人都有吸引力,一种折中是必不可少的,这样的东西,也就是所谓的『大众产品』。在长尾市场之中,由于货架成本的几乎为零,任何产品都有机会出现在集合器之中,而随着长尾的向后延伸,产品数量指数级增长,如果没有第三种力量,也就是过滤器,长尾对大多数人来讲只是一个噪声源而已,人们根本无法从数之不尽的产品之中找到自己真正需要的东西。目前世界上最大的过滤器就是谷歌。过滤器又分为两种:事前过滤器和事后过滤器,热门经济学时代起作用的主要是事前过滤器,这些事前过滤器,包括专业的编辑,采购员等,他们决定了什么样的商品能出现在货架上。而长尾经济学中,起作用更大的是事后过滤器,当产品以一种几乎无门槛的方式进入市场之后,负责筛选他们的就是用户本身,比如用户评论、口碑。而且这种自下而上传播方式的力量影响会越来越大,人们会更容易相信与他们爱好相似朋友的推荐,而不是等待一个神圣的数据来告诉他们他们该喜欢什么。

在过滤器这部分,表面上其实存在着一个矛盾:既然口碑传播成为了一种更强有力的过滤方式,好产品和坏产品的差距会变得比之前更大,那用户的需求理论上应该会更加集中的聚集在头部,而与长尾理论所描述的需求由头部向尾部扩张相违背。实际上,一个完整的大长尾市场是由无数领域的小长尾市场叠加而成的,在每个领域的小长尾市场之中,由于口碑效应,或者称之为网络效应的存在,这个长尾曲线会变得更加陡峭。但网络效应的影响力更多的局限在某领域的小长尾市场之中,而对于跨领域的传播影响不大,比如向一位某音乐流派的爱好者朋友和另一位根本不喜欢音乐的朋友同样推荐该流派内的新晋歌手,所得到的效果也必然是不一样的。而在大长尾市场,人们的需求会由于得到更多个性化的满足而向尾部扩张。如果要更清楚的讲清大长尾市场和小长尾市场的区别的话,大长尾市场是由几乎没有好坏之分的不同喜好领域的集合,而小长尾市场是同一领域内具有好坏可比性的产品集合。

在长尾市场中,有三种力量可以推动需求从头部移向尾部:第一种力量就是品种丰富性,源泉在于上文提到的前两种力量。第二种力量是较低的搜索成本,包含推荐系统以及其他各种过滤器。最后一种力量就是样本示范,比如一个软件的免费版,一个付费电影的免费试看,一个游戏的免费模式。这能降低购买风险,鼓励用户进一步深入未知世界。

其实我觉得长尾理论的适用范围远不止由不同喜好领域所组成的大长尾市场和用于描述同一领域内部的小长尾市场,就比如我在分析的时候发现,在长尾理论的过滤器部分的用户评论领域里,又存在着另一个长尾,头部是热衷于给任何产品提评论的人,尾部是数不清的其他人。生产普及降低人们写评论的成本,传播普及让更多人能够看得到同类的评论,而理论上又存在一种把与你最相似的人的评论推送给你做过滤器的过滤器。因为长尾理论的本源是人性,只是由于客观条件的限制不同,表现出来的程度也不同。

作者:我偏笑_NSNirvana
链接:https://www.jianshu.com/p/2295be2d860a
來源:简书


这篇文章的技术难度会低一些,主要是对推荐系统所涉及到的各部分内容进行介绍,以及给出一些推荐系统的常用算法,比起技术,产品色彩会强不少。参考了《长尾理论》、《推荐系统实践》以及大量相关博客内容。

什么是推荐系统

我之前写过一篇《长尾理论》精读,里面有这样的观点:

推动市场由热门经济学向长尾经济学转变有三种力量:第一种是生产普及的力量(生产者),第二种是传播普及的力量(集合器),第三种是供需相连的力量(过滤器)。

……

本篇文章的推荐算法基本以推荐物品的推荐算法为主,上面的架构也更倾向于去解决物品推荐问题,不太适合解决社会化推荐问题。

作者:我偏笑_NSNirvana
链接:(https://www.jianshu.com/p/c8711ff27eb0https://www.jianshu.com/p/c8711ff27eb0
來源:简书


推荐系统杂谈


推荐系统中的推荐理由实现 ,有什么好的思路吗?


-推荐系统常用的推荐算法

关于长尾物品的一些总结,转载文章如有侵权私信删减~

相关文章

  • 覆盖率|长尾物品发掘

    关于长尾物品的一些汇总 覆盖率 如何评价推荐系统的优劣,可以通过推荐的内容覆盖率来衡量。当然它并不是唯一的准则.....

  • 推荐系统评测指标3-覆盖率

    覆盖率指能够推荐出来得物品占总物品的比例。覆盖分布:每个被推荐的分布应该差不多。Coverage = R(u)...

  • 长尾,爆款才是互联网创业趋势!

    以前很多公司只能打造大众需求类产品,覆盖率80,到了互联网,能做剩下的20!这20就是长尾! 那么我们怎样打造属于...

  • 推荐算法

    目的1:帮助用户找到想要的商品(新闻/音乐/...),发掘长尾 帮用户找到想要的东西,谈何容易。商品茫茫多,甚至是...

  • 机器学习-推荐系统

    1、推荐系统的目的 帮助用户找到想要的商品(新闻/音乐/……),发掘长尾套用在互联网领域中,指的就是最热的那一小部...

  • 评价指标

    用户满意度 预测准确度 覆盖率:用基尼系数,流行度越平均,基尼系数越低 多样性:指物品间的多样性,物品间的相似度越...

  • Web端PHP代码函数覆盖率测试解决方案

    1. 关于代码覆盖率 衡量代码覆盖率有很多种层次,比如行覆盖率,函数/方法覆盖率,类覆盖率,分支覆盖率等等。代码覆...

  • 什么是长尾词?长尾词有什么作用?

    什么是长尾词?长尾词有什么作用?如何寻找长尾词?如何使用长尾词进行网站优化?长尾词布局该注意些什么? 一、长尾词的...

  • 03_测试覆盖率

    测试覆盖率 学习目标 掌握各种测试覆盖率的含义 能计算各种测试覆盖率 理解覆盖率在白盒测试中所起的作用 覆盖率概念...

  • 覆盖率报告解读

    jacoco覆盖率报告的解读 覆盖率级别 覆盖率首先是整个工程的目录的覆盖率。工程级 点进去以后是包级别的覆盖率包...

网友评论

      本文标题:覆盖率|长尾物品发掘

      本文链接:https://www.haomeiwen.com/subject/rljdrftx.html