推荐系统简介
1. 推荐系统应用广泛
推荐系统在互联网中的应用非常广泛,包括:电商、社交、信息流、在线视频、在线广告等场景。
2. 推荐系统极大提高效率
推荐系统也是AI在商业领域成功应用的典型代表。推荐系统大大提高了用户获取信息的效率,帮助用户在海量信息中快速找到匹配的信息;另外,推荐系统还可以帮助企业找到合适的用户群,从而降低获客成本,提高投资回报率。比如,在应用推荐系统后,Youtube视频点播率提高了60%;Netflix电影的播放量提高了80%,亚马逊的用户浏览量提高了30%,这都是很大,很可观的提升。
3. 推荐系统的原理
在数学上,推荐系统是一个矩阵填充的问题。
4. 推荐系统面临的问题
① 数据孤岛问题
数据通常是分散隔离的,存储在不同的企业,即所谓的数据孤岛问题。
② 数据监管问题
例如欧盟的GDPR和国内监管政策的严格,隐私保护是推荐系统必不可少的一个环节。随着数据监管体系不断完善,各个企业都在不断的加强对用户隐私的保护。
5. 差分隐私解决方法
在这种情况下,比如差分隐私是一种比较常用的隐私保护方法。它是在数据中加入一些差分隐私来保护用户的隐私。它可以用于建模的各个环节,比如在用户数据收集的过程中加入,也可以在建模的过程中,比如梯度计算,模型参数中加入差分隐私噪声,还可以在预估结果中加入噪声。
但是,现在的方法,包括差分隐私并不能完全满足我们的需求。随着差分隐私噪声的增加,确实可以保护隐私,但性能是下降的。如上图,在增加差分隐私噪声的情况下,性能下降非常快。我们希望,有一种新的技术可以在保护隐私的情况下做到性能无损。另外一个问题是,加入噪声的数据还是有可能被集中收集,所以其并没有从根本上解决数据安全的问题。我们希望新的技术可以做到数据不出本地,从而保障数据安全和用户隐私。
联邦推荐系统
什么是联邦推荐系统
联邦推荐可以在数据不出本地的情况下,在加密的环境中实现和传统推荐算法一致的性能。
1. 联邦学习的优点
2. 联邦推荐系统的分类
联邦推荐算法原理及实现
1. 纵向联邦推荐
纵向联邦推荐介绍:
纵向联邦矩阵分解:
纵向联邦矩阵分解的训练过程:
2. 横向联邦推荐
横向联邦推荐是有大量相同的物品,但各方有不同的用户。比如不同地区的电影推荐系统中,内容是一样的,但用户群体不一样。每个参与方都是一个单独的用户,但推荐的电影是一样的。
网友评论