特征选择

评价函数( Objective Function )，用于评价一个特征子集的好坏的指标 。这里用符号J ( Y )来表示评价函数，其中Y是一个特征集，J( Y )越大表示特征集Y越好。

Filter（筛选器）： 通过分析特征子集内部的信息来衡量特征子集的好坏，比如特征间相互依赖的程度等 。Filter实质上属于一种无导师学习算法。

information gain：信息

chi-square test：卡方检验

correlation coefficient：相关系数

variance threshold：变量阈值

Wrapper（封装器）： 这类评价函数是一个分类器，采用特定特征子集对样本集进行分类，根据分类的结果来衡量该特征子集的好坏。Wrapper实质上是一种有导师学习算法。

recursive feature elimination：循环特征剔除

sequential feature selection algorithms：序列特征选择

genetic algorithms：遗传算法

Embedded methods:

L1 (LASSO) regularization