美文网首页
特征工程

特征工程

作者: MasterVan | 来源:发表于2017-04-26 00:15 被阅读0次

特征使用方案

确定需要的数据

需要相关业务知识和领域知识,尽可能找出对因变量有影响的所有自变量

可用性评估

获取难度、覆盖率、准确率

特征获取方案

获取方式

系统或日志里的数据
需要网上爬取的数据

存储方式

文本格式、CSV格式、关系表、键值对
数据库的选择:关系数据库(MySql,Oracle),Nosql数据库(mongoDB,Redis)

特征处理

数据清洗

  1. 异常处理
  2. 数据采样

预处理

单个特征

  1. 归一化
  2. 离散化
  3. Dummy Coding
  4. 缺失值处理
  5. 数据变换
    log
    指数
    Box-Cox

特征降维

  1. 特征抽取
    PCA
    LDA
    LLE
    拉普拉斯映射

  2. 特征选择
    Filter
    Wapper
    Embedded

特征组合

对特征进行加工,生成线性、非线性组合,提高模型表现

特征监控

特征有效性分析

特征重要性,权重

特征监控

防止特征质量下降,影响模型效果

Reference

使用sklearn做单机特征工程

相关文章

  • 2018-04-03-机器学习相关

    No.1 特征工程 (1)使用sklearn做单机特征工程 - jasonfreak - 博客园 (2)特征工程实...

  • 机器学习之特征工程

    目录大纲 特征工程是什么? 特征工程的重要性 特征工程子问题:1.特征处理2.Feature Selection(...

  • 使用sklearn做单机特征工程

    使用sklearn做单机特征工程 | 转载 使用sklearn做单机特征工程 目录1 特征工程是什么?2 数据预处...

  • 特征工程

    http://www.cnblogs.com/jasonfreak/p/5448385.html

  • 特征工程

    特征工程  我们做比赛的初衷是想在比赛中锻炼用深度学习模型解决实际问题的能力。所以我们做特征工程时更多的考虑了深度...

  • 特征工程

    目录 1 特征工程是什么?2 数据预处理2.1 无量纲化2.1.1 标准化2.1.2 区间缩放法2.1.3 标准化...

  • 特征工程

    数据和特征的质量决定了机器学习的上限,而模型和算法只是不断逼近这个上限而已 数据清洗 数据样本抽样 异常值(空值处...

  • 特征工程

  • 特征工程

    首先,给一张特征工程的思维导图: 【如果要浏览图片,建议将其下载到本地,使用图片浏览软件查看】 关于特征工程(Fe...

  • 特征工程

    Feature Enginnering 应用机器学习的本质是特征工程。通过特征工程,我们能持续地提升效果,而模型算...

网友评论

      本文标题:特征工程

      本文链接:https://www.haomeiwen.com/subject/oxwbzttx.html