WOE
1.定义:
WOE的全称是“Weight of Evidence”,即证据权重。WOE是对原始自变量的一种编码形式。
要对一个变量进行WOE编码,需要首先把这个变量进行分组处理(也叫离散化、分箱等等,说的都是一个意思)。分组后,对于第i组,WOE的计算公式如下:
其中,pyi是这个组中响应客户(风险模型中,对应的是违约客户,总之,指的是模型中预测变量取值为“是”或者说1的个体)占所有样本中所有响应客户的比例,pni是这个组中未响应客户占样本中所有未响应客户的比例,#yi是这个组中响应客户的数量,#ni是这个组中未响应客户的数量,#yT是样本中所有响应客户的数量,#nT是样本中所有未响应客户的数量。
对于评分卡模型而言:WOE即是分组好人数与总好人数的比值/分组坏人数与总坏人数的比值
IV值
1.定义:
IV的全称是Information Value,中文意思是信息价值,或者信息量。
2.对IV的直观理解
从直观逻辑上大体可以这样理解“用IV去衡量变量预测能力”这件事情:我们假设在一个分类问题中,目标变量的类别有两类:Y1,Y2。对于一个待预测的个体A,要判断A属于Y1还是Y2,我们是需要一定的信息的,假设这个信息总量是I,而这些所需要的信息,就蕴含在所有的自变量C1,C2,C3,……,Cn中,那么,对于其中的一个变量Ci来说,其蕴含的信息越多,那么它对于判断A属于Y1还是Y2的贡献就越大,Ci的信息价值就越大,Ci的IV就越大,它就越应该进入到入模变量列表中。
3.计算方法
某个分组的IV一个变量的IV值即是各个分组IV值之和
PSI
1.定义:
群体稳定性指标(population stability index),用于衡量某个变量的稳定性或者模型整体的稳定性。
2.计算公式:
psi = sum((实际占比-预期占比)* ln(实际占比/预期占比))
3.运用:
训练一个logistic回归模型,预测时候会有个概率输出p。你测试集上的输出设定为p1吧,将它从小到大排序后10等分,如0-0.1,0.1-0.2,......。
现在你用这个模型去对新的样本进行预测,预测结果叫p2,按p1的区间也划分为10等分。
实际占比就是p2上在各区间的用户占比,预期占比就是p1上各区间的用户占比。
意义就是如果模型跟稳定,那么p1和p2上各区间的用户应该是相近的,占比不会变动很大,也就是预测出来的概率不会差距很大。
一般认为psi小于0.1时候模型稳定性很高,0.1-0.25一般,大于0.25模型稳定性差,建议重做。
而在评分卡项目中略有不同:(1)可以用于衡量某个变量的稳定性,按变量原本分组得到的各组样本个数占比,与模型上线之后得到的数据中分组得到的各组样本个数占比进行比较。(2)在评分卡模型中,模型PSI计算中,分组是按照评分高低排序,而后分为十等分,而后进行计算。
网友评论