开篇词-用知识对抗技术不平等

AI落地，需要的基本元素：

• 数据
• 算法
• 场景
• 计算能力

世界在向网状发展，万事万物倾向于相互连接，从而构成复杂网络，而复杂网络具有无尺度的特点，即少数节点聚集了大量的连接。

课程内容包括：

• 能解决系统起步阶段的80%的问题
• 已被无数产品验证过的有用的东西
• 遇到问题能够找到人或者社区交流，而非曲高和寡的前沿技术
• 知识之间有层次递进关系，也有分门别类的整理

概念篇-你真的需要个性化推荐系统吗？

个性化系统定义（维基百科）：一种信息过滤系统，手段是预测用户对物品的评分和喜好。

从三个角度来重新定义推荐系统：

• 它能做什么？
• 它需要做什么？
• 它怎样做？

推荐系统可以把哪些最终会在用户和物品之间产生的连接提前找出来。

什么是连接？凡是能产生关系的都是连接，例如用户对物品做出了一个行为，或者用户的某些属性和物品的属性一样等，有关系就是连接。

• 世界的发展趋势是万物倾向于建立越来越多的连接
• 人是这一切连接的意义所在，为人建立连接是要义
• 根据已有的连接预测与人有关的新的连接，就是推荐系统

推荐系统需要已经存在的连接，从已有连接中去预测未来新的连接。

推荐系统的实现方式

• 机器推荐
• 人工推荐
• 专家推荐

如何判断是否需要推荐系统？

• 查看产品的目的，是否是建立的连接越多越好。例如工具类产品不太需要推荐系统。
• 查看产品现有的连接，判断瓶颈是在人或者物品的数量，还是连接的数量。

一个简单的判断指标公式

1.png

分子是增加的连接数，分母是增加的活跃用户和增加的有效物品数。如果增加的连接数主要靠增加的用户数和物品数，那么该值会比较小，不适合加入推荐系统；如果增加的连接数和新增用户以及物品数关联不大，说明连接已经有自发生长的趋势，适合加入推荐系统。

概念篇-个性化推荐系统中的经典问题

推荐系统的越策问题模式，从达成连接目标的角度区分，包括两类

• 评分预测
• 行为预测

评分预测

评分预测要做的事情：加入用户消费完一个物品后会给出一个打分，那么我们能不能提前预测用户对每一个物品的打分，并找到那些他可能会打高分，但是还没有消费的物品，将其呈现在用户面前。

我们需要建立模型，根据用户的历史打分去预测分数，预测分数和实际分数会有误差，我们需要调整模型， 减小误差，这就是机器学习中的回归问题。

Netfix比赛的评判标准是RMSE，即均方根误差。

2.png

样品集中的每个样品，预测分数和实际分数的差值做平方，然后相加起来处理样品总数，之后开平方，得到最后的结果。

评分类推荐存在的问题：

• 数据不容易收集
• 数据质量不容易保证，伪造门槛低
• 评分的分布不稳定，整体评分在不同时期可能会有很大差别

行为预测

推荐系统预测行为的方式：1. 直接预测行为本身发生的概率； 2. 预测物品的相对排序。

直接预测行为也被称为CTR预估(Click Through Rate）。

行为预测就是利用隐式反馈数据预测隐式反馈的发生概率，大家重视行为预测的原因包括

• 数据比显示反馈更加稠密
• 隐式反馈更能代表用户的真实想法
• 隐式反馈常常和模型的目标函数关联更加密切

行为预测解决的是推荐系统80% 的问题，评分预测解决的是最后20%的问题。

推荐系统的隐藏顽疾

• 冷启动问题
• 探索和利用问题
• 安全问题

概念篇-必须具备的思维模式

推荐系统中对关键元素重要性的认识

• UI / UE （4）
• 数据 （3）
• 领域知识 （2）
• 算法 （1）

不能因为产品具有了AI属性，就不关心UI了，用户对产品的体验、视觉是否符合目标用户的审美、交互逻辑是否简单明了都会决定用户是否会持续使用产品。

一种对于算法的常见误会是：短期高估，长期低估。在一款个性化产品诞生之初，算法所能起到的作用可以忽略，但长期来看，要重视算法带来的影响。

两个思维

• 目标思维
• 不确定性思维

传统的软件可以看到是一个信息流通管道，推荐系统则是一个信息过滤工具，它解决的不是信息流通本身，而是如何让流通更有效率。

传统软件追求的是稳定和满足预期，背后的思想强调的是逻辑和因果链条，软件体验上设定好行为和响应，软件设计上强调分层来应对复杂的操作逻辑，核心就是：逻辑、因果、分层。

推荐系统追求的是指标的增长，背后的思想强调的是目标和不确定性：我们不能很确定的模拟每个人将会看到什么，也不能很好的复现一些操作过程，整个过程充满了不确定性，但是在推荐系统未动的情况下，目标先行是常识。

目标思维的背后是“量化一切”的价值取向

• 量化目标本身
• 量化所有的优化改进动作

为什么负责推荐系统的人一定要有不确定性思维呢？

• 绝大多数推荐算法都是概率算法，因此本身就无法保证得到确切结果，只是概率上得到好的效果
• 推荐系统追求的是目标的增长，而不是一城一池的得失
• 如果花时间为了一个case增加补丁，付出的成本和得到的收益不一定成正比
• 本身出现的意外的推荐有时也是有好处的，可以探索用户的新兴趣

3.png