[PML 5] C1S4 个性化技术的道德和后果

随着个性化机器学习的广泛使用， 一些关于其负面作作用的讨论也多了起来。 其中一些负面观点已经比较被广泛讨论， 比如信息茧房(filter bubbles)。当讨论个性化技术的道德和后果的时候， 我们遇到的问题包括：

• 信息茧房(Filter bubbles) : 推荐算法根据用户的喜好， 只给他们推荐他们习惯的内容， 因此会让用户的视野逐渐狭窄， 及时一开始兴趣广泛的用户， 也会被信息茧房训练的兴趣单一。

• 极端化(Extremification) : 当用户反复接触一类信息的时候， 这类信息可能会强化用户对他们的喜好， 这种正反馈循环一旦开启， 就会让用户的行为变得越来越极端。

• 过度集中(Concentration) : 和前面说的一样， 用户的某些特别感兴趣的点会被放大， 而普通的兴趣点汇萎缩， 甚至消失。

• 偏见(Bias)： 推荐系统往往捕捉的是多数人的pattern ，如果一个人的偏好模式属于长尾的尾部（比较小众）， 那么推荐算法给他的结果就会比其他人差。

随着对这些问题的认识不断提高，一系列旨在缓解这些问题的技术也出现了。这些技术借鉴了更广泛的公平和无偏见机器学习领域的思想，其中学习算法经过调整，以便不传播（或不加剧）训练数据中的偏见，尽管公平的目标并不是总是相同。多样化技术可用于确保预测或建议在相关性与新颖性、多样性或偶然性之间取得平衡；相关技术旨在通过确保预测输出在类别、特征或推荐项目的分布方面保持平衡，从而更好地“校准”个性化机器学习系统（第 10.3 节）。此类技术可以通过确保模型输出不会高度集中在几个项目上来减轻信息茧房，并且更定性地可以增加模型输出的整体新颖性或“趣味性”。其他技术更直接地遵循公平和无偏见的机器学习，确保个性化模型的性能不会因属于代表性不足的群体或具有特定偏好的用户而降低（第 10.7 节）。