在一般模型,典型地例如树模型中,人工地尽可能丰富特征往往十分必要。在对原始数据进行缺失值、异常值、归一化等处理后,还经常进行特征交叉,如按类别添加平均值、方差作为特征。更复杂的还会对原特征进行多项式、加法等处理,构造更多的特征。共同构成特征,模型模型使用。
但对于神经网络则不同,非线性的网络结构,使得初始特征数据神经网络中流动的过程中就可以生成大量的我们所不清楚的特征。这是线性的一般模型所不具有的“自动”能力。
因此,往往我们对于NN的数据预处理只要简单处理异常值以及缺失值。但这也正是神经网络的不可解释性的来源。
这也就是较少特征特征的神经网络就可以媲美千挑万选特征的树模型。
(但另一方面,人工构造的特征的可解释性,很多时候也只是数字层面的。知道这些特征是那些原有业务含义的特征的计算所得。但组合具有业务含义的特征得到的合成特征,未必具有合理的业务含义的解释。)
网友评论