2019-02-04

import pandasas pd

import matplotlib.pyplotas plt

import numpyas np

data= pd.read_csv("creditcard.csv")

a=pd.value_counts(data["Class"])

count_classes= pd.value_counts(data['Class'], sort = True).sort_index()

from sklearn.preprocessingimport StandardScaler

# 1、StandardScaler就是z-score方法

# 将原始数据归一化为均值为0，方差为1的数据集 并将之存储到Amount列

data['normAmount'] = StandardScaler().fit_transform(data['Amount'].values.reshape(-1, 1))

#  删除数据中Time  Amount 列

# 删除没用的两列数据，得到一个新的数据集

data= data.drop(['Time','Amount'],axis=1)

# 先对数据进行切分

X= data.ix[:, data.columns!= 'Class']

y= data.ix[:, data.columns== 'Class']

# 随机下采样

# 筛选出class为1的数据总数，并取得其索引值

# Number of data points in the minority class

# 统计异常值得个数

number_records_fraud= len(data[data.Class== 1])

# 统计欺诈样本的下标，并变成矩阵的格式：

fraud_indices= np.array(data[data.Class== 1].index)

# Picking the indices of the normal classes

# 记录正常值的下标：

# 把class为0的数据索引拿到手

normal_indices= data[data.Class== 0].index

# Out of the indices we picked, randomly select "x" number (number_records_fraud)

# 从normal_indices中抽取number_records_fraud

# 从正常值的索引中，选择和异常值相等个数的样本，保证样本的均衡：

# np.random.choice(a,size, replace, p):在a中以概率p随机选择size个数据，replace是指是否有放回；

random_normal_indices= np.random.choice(normal_indices, number_records_fraud, replace = False)

# 将数据转换成数组：

# 转换成numpy的array格式

random_normal_indices= np.array(random_normal_indices)

# Appending the 2 indices

# fraud_indices：欺诈样本的下标；random_normal_indices：正常值数组；

# concatenate：数据库的拼接；axis=1：按照对应行的数据进行拼接；

# 将两组索引数据连接成性的数据索引

under_sample_indices= np.concatenate([fraud_indices,random_normal_indices])

# Under sample dataset

# loc["a","b"]:表示第a行，第b列；

# iloc[1,1]:按照行列来索引，左式为第二行第二列；

# 获取下标所在行的所有列，即得到训练所需要的数据集：

# 下采样数据集

# 定位到真正的数据

under_sample_data= data.iloc[under_sample_indices,:]

# 将数据集按照class列进行分类

# 切分出下采样数据的特征和标签

X_undersample= under_sample_data.ix[:, under_sample_data.columns!= 'Class']

y_undersample= under_sample_data.ix[:, under_sample_data.columns== 'Class']

# Showing ratio

# 展示下比例

# 计算正负比例为0.5

print("Percentage of normal transactions: ", len(under_sample_data[under_sample_data.Class== 0])/len(under_sample_data))

print("Percentage of fraud transactions: ", len(under_sample_data[under_sample_data.Class== 1])/len(under_sample_data))

print("Total number of transactions in resampled data: ", len(under_sample_data))

# 导入交叉验证模块的数据切分

from sklearn.model_selectionimport train_test_split

# Whole dataset

# 交叉验证

# 随机划分训练集和测试集：x为除了class之外的其他的值，y为最终的结果列；

# test_size:样本占比；

# 从原始集中获取到训练集与测试集：

# train_test_split：x,y按照test_size的尺寸随机提取数据，然后划分到四个数据集中

# 对全部数据集进行切分，注意使用相同的随机策略

X_train, X_test, y_train, y_test= train_test_split(X,y,test_size = 0.3, random_state = 0)

print("Number transactions train dataset: ", len(X_train))

print("Number transactions test dataset: ", len(X_test))

print("Total number of transactions: ", len(X_train)+len(X_test))

# Undersampled dataset

# 数据平衡之后的数据中获取到训练集与测试集：

# 对下采样数据集进行切分

X_train_undersample, X_test_undersample, y_train_undersample, y_test_undersample= train_test_split(X_undersample

,y_undersample

,test_size = 0.3

                                                                                                  ,random_state = 0)

print("")

print("Number transactions train dataset: ", len(X_train_undersample))

print("Number transactions test dataset: ", len(X_test_undersample))

print("Total number of transactions: ", len(X_train_undersample)+len(X_test_undersample))