Python分析建模，日常问题整理（三）

确认过时间，是发工资的一周。
2018.08.06~2018.08.12

1. PSI
   稳定度指标(population stability index)衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。表示的就是分箱后，针对不同样本，关注各个分数区间内人数占总人数的占比是否有显著变化。
   psi = sum((实际占比-预期占比)/ln(实际占比/预期占比))
   模型稳定的话，变量在各区间的量应该是相近，占比不会变动很大，预测出来的概率不会差距很大。
   一般psi小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差。

raw_cut = OrderedDict()
## 生成各变量区间的比例的字典
for i in dat_.columns:
    raw_cut.update({i:(dat_[i].value_counts()/len(dat_)).to_dict()})
def psi_(new_cut,raw_cut):
## 输入新模型各变量区间的比例和原始模型各变量区间的比例字典
    from math import log
def psi_(dat,raw_cut,variable):
## 输入新模型各变量区间的比例和原始模型各变量区间的比例字典
    from math import log
    psi_value = OrderedDict()
    for i in variable:
        new_cut = dict()
        new_cut.update({i:(dat[i].value_counts()/len(dat)).to_dict()})
        for l in [x for x in raw_cut[i].keys() if x not in new_cut[i].keys()]:
          new_cut[i].update({l:0})
        pi = 0
        raw_tem = raw_cut
        for j,v in new_cut[i].items():
            if j in raw_tem.keys():
                '''如果变量类别在原始变量类别之中'''
                if v!=0:
                    tem = (v-raw_tem[j])*log(v/raw_tem[j])
                if v==0:
                    '''如果变量类别比例等于0'''
                    tem = (v-raw_tem[j])*log(0.00001)
            else :
                '''如果变量类别不在原始变量类别之中，令该类的原始比例为无穷小'''
                tem = (1-0)/log(1/1e-10)
            pi = pi+tem
        psi_value.update({i:round(pi,4)})
    return psi_value[i]

2. 数据类型
   df.dtypes
   series.astype(float/int/str) 转化数据类型

3. 机器学习的三个要素是模型，策略和优算法

4. 读取文件夹里面的文件名

import os
import os.path
rootdir = "D://filename"

for parent,dirnames,filenames in os.walk(rootdir):
    print(dirnames) #返回该文件夹下的所有文件夹的名称
    for filename in filenames:
        if filename[-5:]=='.xlsx':
            print(parent+"//"+filename)
## 所有Excel的所有父文件夹名以及Excel表名

数据框空值比例：
df.isnull().sum()/df.shape[0]
序列的某个值的比例
(df['A']==1).sum()/df.shape[0]

6. 如何保存含有inf的字典

import json
dat = dict({'a':[-np.inf,1,2,3,np.inf]})
j = json.dumps(dat)
f = open('tem.txt','w')
f.write(j)
f.close()

f = open('tem.txt','r')
d = f.read()
f.close()
dat = json.loads(d)
dat

先dumps为json，再json.load即可

6. 神经网络模型

from sklearn.neural_network import MLPClassifier
X = [[0., 0.], [1., 1.]]
y = [0, 1]
clf = MLPClassifier(solver='lbfgs', alpha=1e-5,
                     hidden_layer_sizes=(5,3,2), random_state=1)
clf.fit(X, y)
clf.predict([[2., 2.], [-1., -2.]])
clf.predict_proba([[2., 2.], [-1., -2.]])  
[coef.shape for coef in clf.coefs_]
[coef for coef in clf.coefs_]

参数含义
hidden_layer_sizes=(5，3) hidden层2层,第一层5个神经元，第二层3个神经元)
hidden_layer_sizes=(5，3，2) hidden层3层,第一层5个神经元，第二层3个神经元)，第三层2个神经元。
solver： {‘lbfgs’, ‘sgd’, ‘adam’}, MLP的求解方法。默认 ‘adam’，用来优化权重
alpha :float，默认0.0001,正则化项参数。
random_state:int 或RandomState，可选，默认None，随机数生成器的状态或种子。
learning_rate :{‘constant’，‘invscaling’, ‘adaptive’},默认‘constant’。用于权重更新，只有当solver为’sgd‘时使用 。
max_iter: int，可选，默认200，最大迭代次数。
[coef for coef in clf.coefs_]输出每一层的各输入变量系数，以及每一个神经元的结果。