美文网首页机器学习-算法理论
深度学习中的特征工程-高频与长尾特征

深度学习中的特征工程-高频与长尾特征

作者: shudaxu | 来源:发表于2019-03-01 22:14 被阅读0次

在模型训练过程中,对于sparse input的特征来说,每个特征值(feasign)出现的概率有高有低。对于高频的特征,其参数得到更新的几率较大,而低频特征更新几率较小。

使用出现次数作为其gradient scale参数,对高频特征进行打压:gradient = gradient / show。提升低频特征的预估拟合能力。

PS:当然,如果低频特征过多,会导致整个参数量过大。(特别是对于一些长尾分布的特征)参数量过大则容易造成过拟合,所以对这些低频特征也应当进行适当的削减。

相关文章

  • 深度学习中的特征工程-高频与长尾特征

    在模型训练过程中,对于sparse input的特征来说,每个特征值(feasign)出现的概率有高有低。对于高频...

  • 深度学习中的特征工程-特征筛选

    在深度学习中是否需要特征工程中,阐述了在工业界的深度学习应用中,对特征工程的必要性。 在:高频特征打压 中通过特征...

  • 特征工程

    特征工程  我们做比赛的初衷是想在比赛中锻炼用深度学习模型解决实际问题的能力。所以我们做特征工程时更多的考虑了深度...

  • 深度学习中的特征工程

    什么是特征工程?顾名思义,特征工程是一种工程活动,目的是从原始数据中最大限度的提取出能表征原始数据信息的特征。数据...

  • [Deep Learning] 特征工程

    特征工程(Feature Engineering)是从原始数据中创造新的特征以提升算法学习效果的过程。特征工程与特...

  • 特征工程

    做多模态融合需要特征工程知识,所以来学特征工程,最近还要学深度学习算法,统计学方法,好多东西要学!特征工程入门的介...

  • low rank,DNN在NLP领域的瓶颈

    在“深度学习中的特征工程”的notes中,表述了一个观点,DNN对低秩的特征表达,有较好的学习能力。其实,对于NL...

  • 【特征工程】特征选择与特征学习

    特征选择与特征学习 在机器学习的具体实践任务中,选择一组具有代表性的特征用于构建模型是非常重要的问题。特征选择通常...

  • Tensorflow 入门教程

    Tensorflow 入门教程 http://tensornews.cn/ 深度学习发展史 特征工程 深度学习之激...

  • 深度学习中是否需要特征工程

    近些年来,特征工程在深度学习中的重要性似乎有一定程度的下降。主要是在CV领域为主的发展,深度学习已经基本取代传统的...

网友评论

    本文标题:深度学习中的特征工程-高频与长尾特征

    本文链接:https://www.haomeiwen.com/subject/wbtsuqtx.html