最近看到一条新闻，说是腾讯准备花重金收购今日头条，而且势在必得的样子。今日头条很多人应该不陌生，我也是今日头条的忠实用户，为什么我觉得今日头条做的比其他新闻/资讯客户端要好，正是因为他展现给我的内容都是我想看的，随着我在上面的行为越来越多，它展现给我的内容越准确，今日头条使用的最核心的技术就是个性化推荐技术。
随着移动互联网的兴起，用户的很多行为逐渐从PC端转向移动端。人们花在手机上的时间越来越多。人们随时随地都在使用手机，在你坐车的时候，上厕所的时候，吃饭的时候，甚至在你走路的时候都在用手机，相对于PC端，移动端的特点是屏幕窄，用户使用的时间呈现碎片化。同时随着信息量越来越大，人们很难从大量的信息中快速找到自己想要的内容。这个体验是非常差的，如果你是产品经理，如果你面临同样的问题，接下来要讲的内容希望对你有所帮助。
推荐引擎是什么？
如果你在亚马逊上买过书，你可能会碰到这种情况，当你选择一本书放入购物篮时，它会自动给你推荐其它的书。比如：购买过该书的人还买过XXXX，猜你可能还喜欢XXXX，组合推荐，购买该书还有另外几本书的组合可以享受一个优惠的组合价格。这些使用的都是推荐系统，简单来说推荐系统就是研究用户在平台上的所有行为，对用户进行人物画像，以及研究平台上的内容/产品。同时把用户和产品匹配起来的过程。
推荐引擎的应用范围？
推荐系统在各个领域有广泛的应用，比如电商网站、视频网站、视频直播平台、新闻客户端、文学网站、音乐网站等等。下图是推荐系统在著名电商网站、视频网站的一些应用案例及应用效果。
为什么推荐系统能够在各个领域得到广泛的应用？
通过目录或者搜索的方式查找想要的内容，在移动终端较小的屏幕上可能需要多次翻屏，查找感兴趣的内容的成本很高，用户体验较差。
通过推荐系统展现给用户的内容，都是用户感兴趣的，而且每个用户看到的都不一样，亚马逊的CEO贝佐斯说过，要让1000个访问亚马逊的用户看到1000个不同的亚马逊。
目前用户的选择非常多，可选择的多样性及时间的碎片化，用户打开手机，如没能快速找到感兴趣的内容，很快就会离开。
个性化推荐技术通过算法进行用户感兴趣的内容的精准推荐，帮助用户快捷发现感兴趣的内容，当你看完一个内容后，会立马给你推荐相关的东西，可以增加用户粘性。
帮助用户发现更多优质的长尾内容，一般平台用户访问的只局限在热门的10%左右的内容，很多内容永远沉在数据库中没有人发现。
帮助平衡平台的生态，避免马态效应，热门的内容总是得到更多的爆光，冷门的内容从没机会被关注，使内容生产生态两极分化。
推荐系统的架构和核心的算法
下面以我之前做过的一个产品为例来讲解，在架构上，可能每家在做的时候会有些不同，但用到的一些核心算法，大家应该是差不多的。具体怎么实现，产品经理不需要关注这么细，只需要大概了解其中的原理就可以了。
推荐系统中常用到的算法包括用户偏好算法，协同过滤算法（item_base，user_base）、关联规则算法、聚类算法、内容相似性算法（content_base）,以及一些其它的补充算法。最终分析出来的结果是以下几种
根据用户偏好算法算出来用户感兴趣的内容/产品。然后推荐给用户
根据关联规则算法，算出物品间的支持度和置信度。最常见的应用是组合购买，啤酒和尿不湿是非常经典的例子了。
item_base是根据集体用户行为算出物品间的相似度，然后把与用户看过的物品或者购买过的物品最相似的物品推荐给该用户。
聚类算法可以根据用户进行聚类，也可以对产品进行聚类。聚类后可以针对大类进行推荐，或者继续计算用户类和产品类之间的关系。
content_base是根据物品本身的属性进行关联性运算，计算出物品间的相似性，最常见的应用是同类推荐。
user_base是根据集体行为计算用户之间的相似度，比如A跟B计算出来非常相似，则可以把B喜欢的内容，但A还没有看过，推荐给A。
常用的应用场景
1、首页猜你喜欢推荐
由于移动端屏幕较小，一屏展现的内容较少，用户要找到自己感兴趣的内容需要一屏一屏往下翻，在这个地方展现个性化推荐系统推荐的内容，可以快速抓住用户的眼球。
need-to-insert-img
2、在发现栏目给用户推荐感兴趣的内容，可以让用户获得惊喜。
3、内容详情页的关联推荐/相关推荐，在内容详情页可以给用户推荐与当前内容相似的内容。
4、阅读结束/视频播放结束/直播结束推荐，推荐与当前内容类似的内容。
5、搜索页面推荐，当搜索无结果时，可以给用户推荐其感兴趣的内容
个性化推荐系统应用中的几个关键问题
个性化推荐系统是一个非常复杂系统，其中不光涉及数据处理算法和系统架构的灵活性问题，还涉及系统鲁棒性，数据稀疏性问题、冷启动问题、系统的精准性和多样性问题。
垃圾数据处理，对于系统产生的异常数据、垃圾数据需要业务特点制定一套清洗规则。
冷启动问题，由于新用户访问时没有数据沉淀，因此很难根据用户行为进行推荐，目前比较普遍的方法是新用户首次登录时提供兴趣标签引导页面，引导用户进行设置，同时结合其它推荐算法。另外一种比较理想的方法是使用用户在其它平台的社交数据。
数据稀疏性问题，可以使用聚类算法进行升维后运算，并结合其它算法进行组合推荐。
推荐结果精准性和多样性，通过多种算法进行组合推荐。确保推荐结果集的精准性和多样性。
以上是关于个性化推荐系统的一个基本知识，花了点时间整理出来，希望对大家有所帮助。欢迎对这块感兴趣的同学一起交流。
作者：谢德福（微信号：beancurd191），9年以上互联网从业经验，6年以上个性化推荐、大数据相关经验。毕业进入华为工作6年后，于2013年出来创业至今，专注于大数据技术在影视、文化、视频、娱乐等领域的应用。
网友评论