昨天爬了张家口样边长城，最近工作生活状态，保持工作日加班周末户外放风的节奏。这半年机缘巧合进入了AI PM行业，对于半路出家小乐帝来说，不懂机器学习，无法切身感受到业务流程上的问题，因此拿一个客户来建模练手，提升对推荐业务的认知。
数据质量决定上限
小乐帝本次拿到某个客户三个场景的建模任务，优化目标都是增加用户粘性的喜欢率提升。机器学习行内有句被奉为真理的话，数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限而已。因此拿到数据对数据质量的检查至关重要。
三个场景每个场景每日的喜欢数都在几十到一百，喜欢率大概在十万分之一到万分之一左右。直观上来讲与之前做客户端产品预期不太符合。向客户了解到其中一个场景每小时喜欢数在几十，获得的数据基本判断为错了。另外两个场景由于没有数据统计，无法准确求证。但基本可以判断上报或拼表存在错误。
后续小乐帝拿两个场景建模，建模结果也基本验证了数据质量问题。场景一训练和测试AUC稳定在1，场景二训练集AUC稳定在0.5，请建模工程师帮忙确定问题原因无果。
在机器学习建模过程中，由于样本量过少会导致各种不可解释的现象。样本量少的问题就像截取《清明上河图》一小段做样本来代表全部，再拿清明上河图其他部分来做测试，自然会得到不确定性的结果，因为被拿来做样本的一小段缺少泛化能力。
后续向建模工程师了解到根据业务经验建模正例在上千个才能保证机器学习最低水平work。
客户认知
起初做推荐系统时，小乐帝做产品需求很是没有头绪，核心就在于没有直观的客户认知，对客户是谁，客户水平如何，直接客户是谁没有形成认识。经过最近建模过程，对客户下限有了清晰定义。
客户甚至产品都是外包，数据埋点存在问题，缺少数据统计。客户的下限很低，这就更需要我们将推荐系统做的更接地气。
同时也会发现企业边界的问题，产品都可以外包，那就说明客户核心竞争力不在此，也许在渠道，也许在资源上。
MVP推荐系统
无论To B或To C产品核心都在于识别当前阶段核心问题，并通过产品化方式解决问题。
这次建模切实体验到了实施人员和建模人员的痛点以及客户的下限。浅层次的认知是客户提供数据不准和不够，可以从对接方对接过程产品化角度和推荐系统冷启动方式解决。深层次是在客户提供数据能力有限前提下，做出更好的推荐效果，这就需要考虑在有限的数据中提取更多有效特征。诸如图片特征、时序特征、情感特征等。
失败的建模
此次与一位售前同事，同时拿客户建模项目练手，小乐帝被block住在数据质量上，同事的AUC稳定在了0.8。但失败的建模，让小乐帝更深刻体会到数据质量对业务重要性和形成客户水平下限的认知。失败的建模反而收获更多。
理解客户、理解业务、理解机器学习、捕捉信号能力，是推荐系统产品经理核心竞争力。
黑暗森林法则
最近读《三体》，三体里有一个非常有趣的黑暗森林法则。文明的向前发展，生存是第一要务，因此宇宙各个文明就像在黑暗森林里的猎人，都在默默积蓄力量，等对方先暴露，然后开启猎枪。
推荐系统业务做得最早的百分点公司后继乏力，市场上却出现了一众算法公司，算法优秀只待产品化成熟，到那时便是摧古拉朽。
人也一样需要具备忧患意识，但也不能太强，否则就陷入忧虑抑郁中无法自拔了。
「产品经理读书会」
专注于爱读书爱思考的产品人提供读书推荐、产品思考、以书会友的环境
欢迎爱读书的产品人分享产品道路上的感悟
投稿邮箱：booksforpm@126.com
网友评论