要消除的Bias的含义是，“数据原生性存在偏差，而这个原生性无法作为特征被模型捕获，所以才需要消除Bias”
例如，当我们预估一个内容或者广告的ctr时，其展现的位置对ctr有较大的影响，假设模型无法将这个位置作为特征输入，则这个偏差（bias）会对模型结果产生很大影响，比如导致模型收敛很慢，数据拟合能力较差。这种时候，需要通过样本或者别的手段，消除这种偏差。
但是一般来说，上层都能对整个场景特征有较为全面的描述，很少会出现如上假设的情况。而底层无法使用大规模模型技术，比如会有很多缺失特征等（例如混合粗排Baseline版本只有一些基础特征），或者后验统计ctr时（当个体展示位置分布差异较大的时候，ctr单指标如果忽略位置信息，会给使用方带来较大bias），或者当数据量分布差异较大时，过于稀疏的点击展现数据也会造成ctr统计的固有偏差，见消除稀疏数据偏差，CTR平滑的方法与其参数预估过程
总结，在上层模型，做全面大规模预估的时候，bias是固有的特性，不是一个需要我们“消除”的东西。而在底层，无法全面地审视整个场景的时候，需要对bias进行消除。
要消除的Bias的含义是，“数据原生性存在偏差，而这个原生性无法作为特征被模型捕获，所以才需要消除Bias” 例如...
在去偏：什么是bias，为什么要消除bias，何时，怎么消除bias[https://www.jianshu.co...
在我们现实中对模型的训练过程中。经常会遇到各种bias，但是什么样的bias需要消除，什么样的不需要，这里我们再回...
华为19年发表的消除position bias 论文，通过把有偏的ctr（即，bctr） 拆解为p(seen | ...
误差引起有两个方面:Bias 和 Variance Bias 为什么称为bias？ 顾名思义，bias就是因为人的...
Bias：Bias are the simplifying assumptions made by a model...
Cognitive bias 认知偏差 A cognitive bias refers to a systemat...
AB test基于统计学远离。通过随机划分，均匀分布的假设来实现控制变量对照的作用。但是对于小样本则会面临很多问题...
Unconscious Bias 无意识偏见 Unconscious Bias is a crucial top...
典型的存在性偏差（availability bias）和小样本偏见（small sample bias）。...
本文标题：关于消除Bias的必要性
本文链接：https://www.haomeiwen.com/subject/ucsckctx.html
网友评论