美文网首页机器学习-算法理论
深度学习中的特征工程-特征筛选

深度学习中的特征工程-特征筛选

作者: shudaxu | 来源:发表于2019-03-26 12:03 被阅读0次

深度学习中是否需要特征工程中,阐述了在工业界的深度学习应用中,对特征工程的必要性。

在:高频特征打压 中通过特征的频率对其gradient进行scale,可以得到更好的效果,是比较gentle 的做法。

而如果做的更激进一些,对于低频特征,则可以通过特征的频率自动筛选,过滤掉过低频率的特征(可能引入噪音),提升泛化能力,同时可以防止过拟合。

如果做得更自动化一点,则可以通过机器学习来对特征进行筛选。
如训练一个相应的gbdt模型,根据其特征的权重排序来选择特征。
或者使用RandomizedLogisticRegression来筛选(无法获得组合权重)

当然,通过特征评估中对特征的数值化评估可能是个更好的方式进行一些可以预知效果的筛选

相关文章

  • 深度学习中的特征工程-特征筛选

    在深度学习中是否需要特征工程中,阐述了在工业界的深度学习应用中,对特征工程的必要性。 在:高频特征打压 中通过特征...

  • 特征工程

    特征工程  我们做比赛的初衷是想在比赛中锻炼用深度学习模型解决实际问题的能力。所以我们做特征工程时更多的考虑了深度...

  • 深度学习中的特征工程

    什么是特征工程?顾名思义,特征工程是一种工程活动,目的是从原始数据中最大限度的提取出能表征原始数据信息的特征。数据...

  • Task 3:特征工程

    特征工程 导入数据 特征构造 特征筛选 过滤式 包裹式 嵌入式

  • 特征工程

    做多模态融合需要特征工程知识,所以来学特征工程,最近还要学深度学习算法,统计学方法,好多东西要学!特征工程入门的介...

  • 特征选择与特征学习算法研究--笔记1

    特征选择与特征学习算法研究 2.1特征选择 特征选择过程特征选择是对数据进行预处理的机器学习算法,通过从数据中筛选...

  • low rank,DNN在NLP领域的瓶颈

    在“深度学习中的特征工程”的notes中,表述了一个观点,DNN对低秩的特征表达,有较好的学习能力。其实,对于NL...

  • 深度学习中的特征工程-高频与长尾特征

    在模型训练过程中,对于sparse input的特征来说,每个特征值(feasign)出现的概率有高有低。对于高频...

  • Tensorflow 入门教程

    Tensorflow 入门教程 http://tensornews.cn/ 深度学习发展史 特征工程 深度学习之激...

  • 特征工程之_筛选

    1. 说明  本文并非介绍某个成熟算法或者工具,只是个人的一点感悟,写得可能不正确,不全面,希望能给大家带来...

网友评论

    本文标题:深度学习中的特征工程-特征筛选

    本文链接:https://www.haomeiwen.com/subject/bxlgvqtx.html