美文网首页
推荐系统与深度学习(5):能不能统一下CTR论文的标准呢?

推荐系统与深度学习(5):能不能统一下CTR论文的标准呢?

作者: 银色尘埃010 | 来源:发表于2020-10-06 11:17 被阅读0次

以下为个人对文章的理解记录,如有错误,欢迎指正~~
如果觉得有帮助或者写的还行,点个赞呗~~~

Zhu J, Liu J, Yang S, et al. FuxiCTR: An Open Benchmark for Click-Through Rate Prediction[J]. arXiv preprint arXiv:2009.05794, 2020.
原文链接:https://arxiv.org/pdf/2009.05794.pdf

在许多应用程序中,如推荐系统、在线广告、产品搜索,点击率(CTR)预测是一个重要的任务,因为它的准确性直接影响这两个平台的收入和用户体验。近年来,随着深度学习的发展,CTR预测已经被广泛的研究在学术界和产业界,出现了大量的CTR模型。不幸的是,仍然有缺乏标准化和统一的评价基准协议CTR预测。这导致了不可复制,甚至这些研究中不一致的实验结果。
大家阅读文章的时候或多或少都已经注意到了这一现象。在这篇文章中,作者给出了一个数据划分的基准(FuxiCTR),并且在这个基准上重新评估了24个主流或者最新的CTR预估模型,作者运行了4600+的实验,超过12000 GPU hours。并且在Kaggle的两个竞赛数据集Criteo和Avazu数据集上进行了比较。在本文的结果中,许多模型的结果和预期不同,甚至和原文中给出的结论不一致。
本文主要的贡献:

  • 1、通过海量的实验结果,试图构建CTR中的benchmark。
  • 2、公开了完善的实验记过和benchmark代码,以便于进行可重复性研究。现在在github上我没有找到。
  • 3、通过实验说明现存的很多模型存在不可复现性和不一致性。
    总而言之,本文并没有提出新的算法,更多的是对过往的算法进行复现&对比,希望成为CTR界的Benchmark。

一、FuxiCTR的动机

近几年,CTR预估任务已经被广泛关注,但是缺乏类似ImageNet和GLUE的BenchMark,导致了不可复现性。
要满足实验结果的可复现,一般需要满足以下七个要求:

  • 数据分割(Data partition)
  • 数据预处理(Data preprocessing)
  • 开源模型代码(Model code)
  • 训练代码(Training code)
  • 模型超参(Model hyper-parameters)
  • Baseline的模型超参(Baseline hyper-parameters)
  • Baseline的代码(Baseline code)

同时作者统计了一些流行或者最新的模型是否满足以上要求。


可以看到几乎没有一篇文章满足所有的要求。

文中,作者按照以上七个要求,对自己的实现细节进行了介绍,具体还是要看开源的代码。这里就不详细介绍了。

二、对比结果

作者对比了24个CTR模型在Criteo和Avazu上的结果。


在Criteo数据集上的评估情况 在Criteo数据集上的评估情况

实验小结:
(1)Best Repoted一列的结果显示出一定的不一致性:许多模型在结果上不如LR。例如InterHAt、PNN、DeepCross。虽然数据集相同,但是由于数据的划分和数据的预处理不同,以及实现和训练的细节不透明,导致了结果的不一致。所以相同的数据划分和数据数据预处理对于公平的实验对比很重要。
(2)“Reproduced”一栏表明,在大多数情况下,可以复制现有研究报告的模型性能。但是,即使在这些实验中使用相同的数据分区和数据预处理,也会出现一些不一致的情况。例如在Criteo数据集中,DeepFM的结果比原来的差,但是xDeepFM的结果得到改善。说明了重新调参的必要性,在很多论文中,他们遵循了原文中的基线超参数,但是由于数据划分的不同导致了结果对比的不公平。
(3)通过重新调整模型的超参数,对比现在的结果都获得了较大的提升(超过1%)。这个实验结果建议在很多文章中,基线模型应该更仔细地调整,以做出更有说服力的比较。
(4) 可以看到在两个数据集上xDeepFM和ONN的表现都很稳定,而且很多18年之后的模型结果都比不上这两个模型。这对于一些参加CTR预估竞赛的同学可以给到一些启发。

三、个人总结

虽然本文没有提出新的模型,但是本文的实际意义还是挺大的。我本文刚学习CTR文章的时候,就苦于没有一致的数据集划分和数据预处理方法。而且也统计过不同文章中的实验结果,发现差异很大。我经常说的一句话“在我的数据划分中,没有其他的模型可以打败我”。如果有类似ImageNet和GLUE的BenchMark确实对新入门的研究人员友好很多,同时也对后续的模型研究提出了更加严格和统一的要求。不过是否按照作者在本文中提到的方式构建benchmark还是值得探究的。希望有更多的人关注这一方面。遗憾的是,目前本文提到的所有源码都还没有公布,希望作者尽快公布。

相关文章

网友评论

      本文标题:推荐系统与深度学习(5):能不能统一下CTR论文的标准呢?

      本文链接:https://www.haomeiwen.com/subject/vxfoyktx.html