【案例-数据挖掘】银行营销

数据来源kaggle(uci数据集)： https://www.kaggle.com/janiobachmann/bank-marketing-dataset/kernels

目录：
0 项目概述
一、业务分析
　　1.1 基本属性
　　1.2 业务联系
　　1.3 最近一次营销活动
　　1.4 目标数据
二、数据准备
　　2.1 描述性数据概览
　　2.2 数据清洗和过滤
三、探索性数据分析（EDA）
　　3.1 数据项分布
　　　　3.1.1 盈余
　　　　3.1.2 职业
　　　　3.1.3 婚姻状态
　　　　3.1.4 受教育程度
　　　　3.1.5 有无住房贷款和个人贷款
　　3.2 是否有定期存款？
四 多重探究
　　4.1 营销活动开展的月份
　　4.2 潜在客户的年龄
　　4.3 目标群体的职业分析
五、影响客户定期存款业务的特征相关性分析
　　5.1 矩阵相关性分析
　　5.2 住房贷款和个人贷款
六、分类模型
　　6.1 模型概述
　　　　6.1.1 模型目标
　　　　6.1.2 建模过程
　　6.1.3 决策树
　　6.1.4 贝叶斯/费舍尔分类
　　6.1.5 神经网络
　　6.1.6 SVM
　　6.1.7 确定最佳模型
七、营销建议
　　7.1 营销目标客户群体
　　7.2 营销策略

0 项目概述

  本项目的目的是充分挖掘客户的需求、刻画客户群体肖像，并针对营销活动的开展提供建设性的意见建议，从而真正促进推动银行业务的开展。 为此，我们需要对以下加点进行深入挖掘：
（1）目标人群：哪一部分人群是精准营销的客户群体，针对这一部分人开展营销推广，将使得活动变得高效、快速；
（2）营销渠道：有哪些营销渠道可以采用，例如电话、电视、社交媒体等，如何针对人群设定最佳的渠道策略；
（3）定价：具体的业务应该怎样定价以吸引客户？
（4）营销策略：推动业务落地，从而真正推动业务实效化开展。
  本数据集的营销场景是给客户推荐定期存款业务。

一、业务分析

import pandas as pd
import numpy as np 
import matplotlib.pyplot as plt
import seaborn as sns 
%matplotlib inline
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
bank=pd.read_csv('/Users/ranmo//Desktop/数据分析案例/银行营销/bank.csv')
bank.info()
bank.head()

显示如下：

image.png
image.png

一共11162行*17列数据，具体的数据项可以分为三个部分。

1.1 基本属性

• age,年龄
• job，工作类型（分类：'管理员'，'蓝领'，'企业家'，'女佣'，'管理层'，'退休'，'自雇'，'服务'，'学生' '技术人员'， '失业'， '未知'）
• marital，婚姻状态（分类：'离婚'，'已婚'，'单身'，'未知';注：'离婚'是指离婚或丧偶）
• education，教育程度（分类：'初等教育'，'中等教育'，'高等教育'）
• default，有无违约（分类：'无'，'有'，'未知'）
• housing，有无住房贷款（分类：'无'，'有'，'未知'）
• load：有无个人贷款（分类：'无'，'有'，'未知'）
• balance：盈余（收支平衡）

1.2 业务联系

• contact：联系方式（分类：'移动电话'，'座机'）
• day:上一个联系日（分类：'周一'，'周二'，'周三'，'周四'，'周五'）
• month：上一个联系月（分类：'一月~十二月'）
• duration：通话时间，秒（此数据为通话时间，似乎包含等待接通的时间，因为最小值是2s，之后会分析到）

1.3 最近一次营销活动

• campain：上一次营销活动和此客户联系的次数
• pdays：自上一次营销活动联系后，至今的天数
• previous：上一次营销活动之前和客户累计联系过的次数
• poutcome：上一次营销的结果（分类：'失败'，'未知'，'其他'，成功'）

1.4 目标数据

• deposit：客户是否有定期存款？（分类：'是'，'否'）

二、数据准备

2.1 描述性数据概览

image.png

可以得到以下基本信息：

• 客户平均年龄约为41岁，最高为95岁， 最低为18岁；
• 客户平均盈余为1528，但标准差很大，说明此项数据的分布情况很分散。
• 通话持续时间在2~3881s（1h+）不等，是上一次的通话时间还是累计的通话时间？？是纯通话时间还是包含等待时间？这项数据不敢轻易使用。不过可以确定的是，通话时间越长，肯定说明客户潜力越大，相应的存款也会更多。
• 上一次营销活动的联系次数在1~63次不等，相应的联系次数越多，则约表明该客户在上一次活动中参与度高；
• 上一次营销活动后至今的天数为-1~854天，为什么会有-1？是否为数据错误；
• 上一次营销活动之前和客户累计联系过的次数为0~58次，整体数据偏小。

2.2 数据清洗和过滤

image.png

因为没有缺失数据，所以不用进行数据填充。
针对pdays中存在的“-1”，也没有进行清洗。

三、探索性数据分析（EDA）

3.1 数据项分布

是否有定期存款是我们特别关注的数据，不过在此之前，我们可以先分析一下各个数据项的分布以及彼此可能存在的联系。

bank.hist(bins=20,figsize=(14,10))

image.png

3.1.1 盈余

和是否有违约之间的关系:

sns.set(style="darkgrid")
sns.boxplot(x='default',y='balance',hue='deposit',data=bank)

image.png

和职业之间的关系：

sns.boxplot(x='job',y='balance',hue='deposit',data=bank)
plt.xticks(rotation=90)

image.png

和教育程度之间的关系:

sns.violinplot(x='education',y='balance',hue='deposit',data=bank)

image.png

可以得知：

• 有违约记录的人员盈余明显偏低，表明他们的经济状况确实不太好；
• 有几个职业经济状况更好，退休人员、管理层、自雇和技术人员；
• 不同教育程度的人员的盈余情况似乎没有明显的偏差，并不像我们想象中的，高等教育者应当具备更高的盈余。

3.1.2 职业

职业的数量分布：

plt.rcParams['figure.figsize']=(10,6)
sns.set()
sns.barplot(x='index',y='job',data=bank['job'].value_counts().to_frame().reset_index())
plt.xticks(rotation=90)

image.png

职业和年龄的关系：

sns.boxplot(x='job',y='age',data=bank)
plt.xticks(rotation=90)

image.png

职业和收入的关系：（发现画图效率有点低，已经开始用tableau混用了）

#tableau创建计算字段balance status：
if [balance]<0
then 'negtive'
elseif [balance]<3000
then 'low'
elseif [balance]<10000
then 'mid'
else 'high'
end

image.png

可以得知：

• 管理人员是最为普遍的职业类型；
• 退休人员的年龄偏高，而学生最低，umm，跟预期的一致；
• 管理人员和技术人员是综合盈余最高的人（含有比较多的high——balance比例和数目）。

3.1.3 婚姻状态

婚姻状态和盈余的关系：

image.png

可以得知：

• 似乎婚姻状态与盈余没有什么相关性，因为无论是离婚者、单身者、结婚者，在各个盈余段上的分布都比较相似，普遍分布在0~5k内。

3.1.4 受教育程度

受教育程度和婚姻状态的关系：

image.png

受教育程度和盈余的关系（这里是求的各种教育程度中negtive、low、mid、high的中值）：

image.png
可以得知：

• 不同教育程度的离婚率相差不大，但是教育程度越高，单身率越高；
• 不同教育程度的盈余状况似乎相差不大，因为集中盈余状态的中值都差不多，包括high_balance状态下的种植情况也差不多（不考虑unknow）

3.1.5 有无住房贷款和个人贷款

和盈余的关系：

plt.rcParams['figure.figsize']=(20,10)
plt.subplot(121)
sns.stripplot(x='housing',y='balance',data=bank)
plt.subplot(122)
sns.stripplot(x='loan',y='balance',data=bank)

image.png

可以得知：

• 有无住房贷款和个人贷款会直接影响盈余，没有住房贷款和个人贷款的将具有更多的盈余。

3.2 是否有定期存款？

有无定期存款是我们最为关心的问题，也是直接影响预测模型精度的关键参数，首先我们可以进行整体的比例分析：

plt.rcParams['figure.figsize']=(10,6)
f, ax = plt.subplots(1,2)
plt.suptitle('Information on Term Suscriptions', fontsize=20)
bank["deposit"].value_counts().plot.pie(ax=ax[0],autopct='%.2f%%',explode=[0,0.25],startangle=25)
sns.barplot(x='education',y='balance',hue='deposit',data=bank,estimator=lambda x: len(x) / len(bank) * 100)
ax[1].set(ylabel='(%)')

image.png

这里我们似乎可以粗略地得知，受教育程度越高（tertiary），越趋于拥有定期存款，具体的存款业务与各个特征变量之间的关系将在第五章详细分析。

四 多重探究

4.1 营销活动开展的月份

日期函数处理：https://www.cnblogs.com/linkenpark/p/8079337.html

import datetime
# date=bank.pdays
now=datetime.datetime.today()
bank_date=bank
bank_date['compain_date']=bank_date.pdays.transform(lambda x:now-datetime.timedelta(days=x))
bank_date['month']=bank_date['compain_date'].transform(lambda x:x.strftime('%m'))
plt.bar(bank_date['month'].value_counts().index,bank_date['month'].value_counts())
plt.xlabel('month')

image.png

data=bank_date.groupby(['month','poutcome']).count().reset_index()
sns.barplot(x='month',y='age',data=data,hue='poutcome')

image.png

尽管8月份的营销客户数很多，但是营销结果却存在大量未知的数据。去除这部分数据进行分析：

sns.barplot(x='month',y='age',data=data[data['poutcome']!='unknown'],hue='poutcome')

image.png

可以得知：

• 营销活动主要集中在8月、5月、2月；
• 实际营销活动较为成功的月份为5月、2月，当然也很有可能是因为营销的次数比较多导致的成功案例增多，而由于8月的营销结果存在大量未知数据因此无法具体分析。

4.2 潜在客户的年龄

plt.subplot(211)
sns.distplot(bank[bank.deposit=='yes'].age)
plt.ylabel('deposit=yes')
plt.subplot(212)
sns.distplot(bank[bank.deposit=='no'].age)
plt.ylabel('deposit=no')

image.png

data=bank
data['age_status']=data['age']
data.age_status=data.age_status
def agerank(age):
    if age<20:
        age_status='teen'
    elif age>=20 and age<20:
        age_status='young'
    elif age>=30 and age<40:
        age_status='mid'
    elif age>=40 and age<60:
        age_status='mid_old'
    else:age_status='old'
    return age_status
data.age_status=data.age_status.transform(lambda x:agerank(x))
data2=(data.groupby(['age_status','deposit']).age.count()/data.groupby(['age_status']).age.count()).to_frame().reset_index()
sns.barplot(x='age_status',y='age',data=data2,hue='deposit')

image.png

data3=(data[data.poutcome!='unknown'].groupby(['age_status','poutcome']).age.count()/data.groupby(['age_status']).age.count()).to_frame().reset_index()
sns.barplot(x='age_status',y='age',data=data3,hue='poutcome')

image.png

可以得知：

• 20岁以下或60岁以上的群体会更趋于拥有定期存款；
• 从营销结果来看，20岁以下或60岁以上的群体似乎更容易营销成功，因此可以考虑将他们作为重点的营销对象。

4.3 目标群体的职业分析

data['percent']=1
data4=(data.groupby(['job','deposit']).percent.count()/data.groupby(['job']).percent.count()).to_frame().reset_index()
data5=(data[data.poutcome!='unknown'].groupby(['job','poutcome']).percent.count()/data.groupby(['job']).percent.count()).to_frame().reset_index()

plt.subplot(211)
sns.barplot(x='job',y='percent',data=data4,hue='deposit')
plt.subplot(212)
sns.barplot(x='job',y='percent',data=data5,hue='poutcome')

image.png

可以得出：

• 学生及退休人员更加可能有定期存款，同时在营销方面取得成功；
• 蓝领、企业家、服务者、技术员不容易推销成功。

五、影响客户定期存款业务的特征相关性分析

根据前文的分析，我们初步知道：
（1）age，小于20及大于60岁更趋于拥有定期存款
（2）job，学生和退休者更趋于拥有定期存款
（3）marital，婚姻状态似乎与业务没有太大联系
（4）education，受教育程度越高（tertiary），越趋于拥有定期存款
（5）default，有无违约似乎与业务没有太大联系
（6）housing，尚未分析
（7）load，尚未分析
（8）balance，盈余状态似乎与业务没有太大联系
（9）contact，无关变量
（10）day，尚未分析
（11）month，尚未分析
（12）duration，尚未分析
（13）compain，尚未分析
（14）pdays，尚未分析
（15）poutcome，尚未分析
未分析的几个特征变量中，有的是数值型变量，有的是字符串变量，数值变量采用矩阵相关性分析，其余的进行特性分析。

5.1 矩阵相关性分析

from sklearn.preprocessing import StandardScaler, OneHotEncoder, LabelEncoder
data5=bank
data5['deposit']=LabelEncoder().fit_transform(data5['deposit'])
#把deposit转化为数值变量
corrmat=data5.corr()
plt.figure(figsize=(15,10))
sns.heatmap(corrmat,annot=True,cmap=sns.diverging_palette(220, 20, as_cmap=True))

image.png

可以看出，这几个值当中与业务最为相关的就是duration通话时间了，进一步分析：

image.png

可以看出，duration的值主要集中在0~600之间，随着duration越大，开设定期存款的比例越高。

data5['duration_status']=(data5.duration-data5.duration.mean())
def dur_status(duration_status):
    if duration_status>=0:
        a='above_average'
    else:a='below_average'
    return a
data5['duration_status']=data5['duration_status'].transform(lambda x:dur_status(x))
percentage=(data5.groupby(['duration_status','deposit']).duration.count()/data5.groupby(['duration_status']).duration.count()).to_frame().reset_index()
percentage['percent']=percentage.duration
sns.barplot(x='duration_status',y='percent',data=percentage,hue='deposit',)

image.png

通话时间的均值为375s，以此作为分解，可以看到通话时间高于均值的，开办业务的比例为77.3%，低于均值的，仅为31.6%。
可以得知：

• 随着通话时间越长，表明用户开办业务的成功率越高。

5.2 住房贷款和个人贷款

data6=bank[['deposit','housing','loan']]
data6['deposit']=LabelEncoder().fit_transform(data5['deposit'])
data6['housing']=LabelEncoder().fit_transform(data6['housing'])
data6['loan']=LabelEncoder().fit_transform(data6['loan'])
corrmat=data6.corr()
plt.figure(figsize=(15,10))
sns.heatmap(corrmat,annot=True,cmap=sns.diverging_palette(220, 20, as_cmap=True))

image.png

可以得知：

• 整体来说，是否有定期存款业务和住房贷款、个人贷款的相关性都不大，或者说成负的弱相关关系（一般来说，0-0.09为没有相关性，0.3-弱，0.1-0.3为弱相关，0.3-0.5为中等相关，0.5-1.0为强相关。）；
• 定期存款业务和住房贷款的相关性系数为-0.2，可以认为拥有住房贷款，则比较不容易开设定期存款业务。

六、分类模型

6.1 模型概述

6.1.1 模型目标

构建一个分类模型，能够预测是否开通定期存款业务，比较适合的算法有：
（1）决策树：需要将连续数据处理为区间数据，能给出分类结果，如果构建的是完全拟合的决策树则不存在置信度问题，非完全决策树则可以给出分类置信度；
（2）贝叶斯/费舍尔分类：根据相似度进行分类，能给出分类结果和分类置信度；
（3）神经网络：将输出层设置为2个神经元，分别为属于两个分类的概率，总和为1，因此能给出分类结果和分类置信度；
（参见https://www.jianshu.com/p/d4fb3a391d22?from=timeline&isappinstalled=0）
（4）SVM：能输出分类结果肯定的，能给出置信度么？我个人认为如果SVM过拟合比较严重，则给出的置信度为只有1，0之分，如果调整参数之后，会逐渐放宽分类的限制，相当于先分类成功的肯定置信度相对更高，后分类成功的相对置信度更低）
（别人的包：https://www.jianshu.com/p/f0c9b10a10af）

ps,为什么想知道置信度，是因为除了做分类预测外，还想要根据置信度排序做出精准营销的推荐，置信度比较低的，就不成为我的营销目标。

6.1.2 建模过程

• 分层抽样:

  
  image.png
  

  因为正负种类比例趋于1：1，所以不做处理

• 数据格式处理：
  把几个字符串变量处理为字符变量：

bank=pd.read_csv('/Users/ranmo//Desktop/数据分析案例/银行营销/bank.csv')
bank_spss=bank

bank_spss['job']=LabelEncoder().fit_transform(bank_spss['job'])
bank_spss['marital']=LabelEncoder().fit_transform(bank_spss['marital'])
bank_spss['education']=LabelEncoder().fit_transform(bank_spss['education'])
bank_spss['default']=LabelEncoder().fit_transform(bank_spss['default'])
bank_spss['housing']=LabelEncoder().fit_transform(bank_spss['housing'])
bank_spss['loan']=LabelEncoder().fit_transform(bank_spss['loan'])
bank_spss['contact']=LabelEncoder().fit_transform(bank_spss['contact'])
bank_spss['month']=LabelEncoder().fit_transform(bank_spss['month'])
bank_spss['poutcome']=LabelEncoder().fit_transform(bank_spss['poutcome'])
bank_spss['deposit']=LabelEncoder().fit_transform(bank_spss['deposit'])

bank_spss.to_csv(path_or_buf='/Users/ranmo//Desktop/数据分析案例/银行营销/bank_spss.csv')

image.png

• 特征处理，特征降维、特征缩放及连续值处理：
  首先是特征维度上面，只有16+1个变量，维度不算大，因此不做降维；
  特征缩放我没做，理论上肯定是要反复验证并确定缩放比例的；
  连续值处理直接交给SPSS了，我人工就不作处理了。。。
  ps,特征缩放本质上就是理清各个特征之间的关系，比如说上一次营销活动的成功与否与是否有存款业务没有什么关系？那么在分类过程中是否也要考虑这些变量？。。。umm，我没做缩放，肯定会影响模型精度的。。。
• 建立模型，交叉验证模型精度
  要输出分类结果以及置信度
  交叉验证（选定70%训练集、30%测试集）：
  （1）每一次验证，会确定一个模型（参数不一样），同时输出一组confusion matrix（混淆矩阵/误差矩阵）以及ROC曲线，并确定模型的最佳分类阈值；
  （2）交叉验证完毕后，得到最终的模型精度，confusion matrix和roc是加权综合的么？
  （3）最终是利用全部样本构建分类预测模型。
• 比较确定最佳模型
  利用各个模型交叉验证后的精度确定最佳模型，并利用全部样本构建分类模型。

6.2 决策树

• 决策树模型选的CHAID模型
  https://blog.csdn.net/sjpljr/article/details/70169159
  https://www.jianshu.com/p/807b2c2bfd9b
  不同于C4.5、C5.0，CHAID模型采用卡方校验来分类。

• 交叉验证
  因为参数设置上没有验证的次数，和样本比例选择，所以不太确定spss的交叉验证机制，最后选择的分割样本。

  
  image.png
• 分类结果分析
  （图太大就不放了）
  决策树的第一层是：duration
  决策树的第二层主要是：contact、poutcome、month
  决策树第三层主要是：marital、housing、month、pdays、days

这表明：duration、contact、month、poutcome、pdays、days都是与上一次营销活动以及近期联系紧密相关的参数，这一点上很好解释，即联系越频繁，表明其本身就是我们的优质客户和目标营销群体

• 置信度分析

  
  image.png
  

  理论上应该是根据最底层子节点上的分类情况进行置信度判定，比如节点40上有163个正类，2个父类，但是全部被认定为正类，则置信度为98.8%。

• 模型精度分析
  （1）混淆矩阵
  软件给出的这个不是混淆矩阵哈

  
  image.png
  

  实际的混淆矩阵是:

  
  image.png
  为什么用样本构建的分类模型也存在混淆矩阵的原因是因为，没有完全拟合（CHAID构建的决策树最大深度为3，所以拟合有限）
  （2）ROC曲线
  一般来说，决策树不存在ROC曲线，因为不存在分类阈值的选取问题。如果一定要有ROC曲线的话，那就是通过调整树的最大深度，以及熵增、基尼值改变的最小值来调整拟合程度，最终得到一条ROC曲线，但是对决策树似乎没有什么意义。

ps:
spss中画ROC曲线。。接受的输入各个样本的类别以及阈值，然后根据不断调整阈值，来求得ROC的X和Y：
http://www.sohu.com/a/144925905_165070
但绝大多数情况下，是没办法得到各个样本的阈值的，所以可能还是要在python中自己编程或者调包。

6.3 贝叶斯/费舍尔分类

• 费舍尔判别
  SPSS的费舍尔判别跟我想要的费舍尔分类还不一样。。。
  费舍尔分类参见https://blog.csdn.net/luanpeng825485697/article/details/78769233
  费舍尔判别参见https://www.jianshu.com/p/2d8a6fa92bb5
  所以SPSS自带的很多方法都是传统统计学那一套？《挖掘理论》中的贝叶斯实际是不完全贝叶斯（因为没有求取到真是的条件概率），而费舍尔求取的是真是的条件概率，这反而是传统统计学中的贝叶斯分类。
  然而SPSS没有贝叶斯判别，只有费舍尔判别，基础理论是对于有N维特征向量的输入（这里是16维，还有一位是分类标志），找到X1、X2、X3。。。X16来使得整体的组内方差最小，组间方差最大。（感觉是聚类的思想）
  image.png
  image.png
  这里有个先验概率，umm如果是贝叶斯的话是需要先验概率的（因为针对不存在数据，就假设他们在每个类别中的概率都相等啊），但是费舍尔判别应该是不需要先验概率。
• 交叉验证
  没有交叉验证的选项，他是将所有数据用来构造费舍尔判别器，最后再对所有数据进行误差校验。
  当然肯定也可以自己对表数据进行分类，确定训练集和测试集，训练好了之后保存模型用测试集进行测试，但是整体来说用模型就是不够灵活。。。

• 分类结果分析

  
  image.png
  

  会给出在0组和1组的概率（置信度），在原始表中也会生成新的列给出概率。

  
  image.png
• 置信度分析
  参见上一条，会给出

• 模型精度分析
  （1）混淆矩阵

  
  
  

  （2）ROC曲线
  费舍尔应该是判定当处在组1的概率大于处在组0的概率是，将其分为组1，所以也可以理解为：阈值=（处在组1的概率）-（处在组2的概率），当阈值>0时，则为组1，否在为组1。
  因为在spss中画ROC曲线只接受两个变量，一个是正确的状态变量，一个是特征量（不同场景不同考虑，这里是（处在组1的概率-组0的概率））。
  所以在spss中额外创建一列（“转换→计算变量”），再画ROC曲线：

  
  image.png
  将实际ROC数据拷贝出来处理，求取“尤登指数”：
  image.png
  image.png
  

  可以知道：

• 首先尤登指数肯定是处在0附近的，本身模型就是求取了这样的一个分类器来保证分类最优；
• 实际的尤登指数是-0.058左右，并不是0。可以理解，因为模型本身目标可能是实现precision更高，但是尤登指数与recall又相关，所以两者本身概念就有差异。

6.4 神经网络

• 模型
  神经网络有RBF模型和多层感知器，SPSS都可以选择。多层感知器就最多有三层隐藏函数可以完成任何分析，而多层感知器求解权重采用的是BP算法，所以现在一般称为BP神经网络，两者是两个不同方向上的概念，一个是层次，一个是算法，但是又互相指代。多层感知器的求解算法可以参考之前文档的分析。
  RBF和BP当然各有各的优点，以后需要再进行详细研究，需要知道的是，RBF在算法计算上不是再用BP来求解连接权重了，求解的参数有3个：基函数的中心、方差以及隐含层到输出层的权值，所以从输入层到隐藏层已经没有权重概念了，而是求解基函数的参数，具体求解流程也可以之后再研究。
  还有一点就是RBF径向基函数指的是任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数。高斯核函数通常被作为RBF函数，但是实际上还有其他函数（当然下面这篇文章的各种激活函数并不全是基函数哈，有的是BP适用的函数）：
  https://baijiahao.baidu.com/s?id=1582399059360085084&wfr=spider&for=pc
  下面这个是BP的激活函数，S型和双曲正切是经常用的：
  image.png
  下面这个是RBF的激活函数：
  image.png
  输出层是不能选择的，默认是恒等式；隐藏层是两个学名，一个是softmax，还有一个是什么我懒得训练了。。。
  反正就是采用软件很不灵活，不能够自行选用函数。
  还有就是最后的输出变量，本来想将输出层设置为2个神经元，分别为属于两个分类的概率，总和为1。但是这里识别到分类变量是离散值（0和1），所以自动会输出三个值：
  image.png
  判断依据就是，预测为1的概率大于为0的概率的时候，则预测值为1。

PS，如果输出变量是连续值的话，SPSS会认为是做预测，从而只输出一个值，就是预测的值。

最后是采用BP跑了一下。

• 交叉验证
  没有交叉验证选项- -
  但是可以自行确定训练集和测试集的比例。

  
  image.png
• 分类结果分析
  就输出三个值：
  分类结果、预测为1的概率、预测为0的概率。

• 置信度分析
  虽然得到了预测为1的概率、预测为0的概率，似乎这个本身就是一个置信度指标，但这样不就存在比如说为1概率为95%，为0概率为90%这种情况么？我感觉还是要转化一下，转化成（为1的概率+为0的概率=1），只用做一下加权值就行了。。。

  
  image.png

• 模型精度分析
  （1）混淆矩阵

  
  image.png
  

  转化一下：

  
  image.png
  （2）ROC曲线
  image.png

6.5 SVM

SPSS statistics没有SVM，只有SPSS modeler才有。。umm
决定用python掉包跑一下。
https://www.cnblogs.com/luyaoblog/p/6775342.html

• 模型

from sklearn import svm
from sklearn import model_selection
x,y=np.split(bank_spss,(16,),axis=1)
x_train, x_test, y_train, y_test = model_selection.train_test_split(x, y,train_size=0.7)
clf = svm.SVC(C=0.8, kernel='rbf', gamma='auto_deprecated', decision_function_shape='ovr')
clf.fit(x_train, y_train)
print("SVM-输出训练集的准确率为：",clf.score(x_train,y_train))
print("SVM-输出测试集的准确率为：",clf.score(x_test,y_test))

显示：

image.png

因为训练集的准确率为1，所以最开始是猜测过拟合了，导致测试集准确率这么低。。结果我调整模型的C和gamma，得出的测试集的准确率都是一样的，然后我一查看结果，发现所有的输入都预测为0。。。
因为具体不知道是哪儿出了问题，就把所有变量做了归一化处理：

#做归一化
bank_spss_new=bank_spss
for i in bank_spss_new.columns:
    bank_spss_new[i]=bank_spss_new[i]/(bank_spss_new[i].max()-bank_spss_new[i].min())


x,y=np.split(bank_spss_new,(16,),axis=1)
x_train, x_test, y_train, y_test = model_selection.train_test_split(x, y,train_size=0.7)
clf = svm.SVC(C=0.8, kernel='rbf', gamma='auto_deprecated', decision_function_shape='ovr')
clf.fit(x_train, y_train)
print("SVM-输出训练集的准确率为：",clf.score(x_train,y_train))
print("SVM-输出测试集的准确率为：",clf.score(x_test,y_test))

image.png

现在正常了。。

• 交叉验证
  没有做交叉验证，要做的话也是很简单的事情。。

• 分类结果分析

  
  image.png
  image.png
  

  有两个关键性的结果参数，一个是clf.decision_function显示的是到两个分类的距离，为正就分为1类，为负就分为0类，clf.predict显示的就是分类结果。（因为分割平面是wx+b=0啊）

• 置信度分析
  不能直接得到置信度的具体数值，但是clf.decision_function给出了距离分类平面的距离，理论上距离越远，则表示在某一类的概率越大啊，因为离分界面远的话，不容易发生误分类。
• 模型精度分析
  （1）混淆矩阵
  https://www.jianshu.com/p/13debf42fdb7

from sklearn.metrics import classification_report
y_pred=clf.predict(x_test)
print(classification_report(y_test, y_pred, labels=None, target_names=None, sample_weight=None, digits=2))

image.png

（2）ROC曲线
SVM画ROC可能没有什么意义，如果要画的话，那就是通过调整C和gamma的值来取一个适合的模型精度。。

6.6 确定最佳模型

从模型的整体预测精度来说
决策树：0.807（测试集）
费舍尔判别：0.793（全部集）
BP神经网络：0.700（测试集）
svm：0.777（测试集）
决策树胜出！

七、营销建议

7.1 营销目标客户群体

• 年龄：从营销结果来看，20岁以下或60岁以上的群体似乎更容易营销成功，因此可以考虑将他们作为重点的营销对象。
• 职业：学生及退休人员更加可能有定期存款，同时在营销方面取得成功，蓝领、企业家、服务者、技术员不容易推销成功，应当尽量避免向这一类人进行推销。
• 住房贷款：定期存款业务和住房贷款成负若相关性，可以认为拥有住房贷款，则比较不容易开设定期存款业务。同时，开设有住房贷款的人群整体盈余情况会比没有住房贷款的人更差。所以在下次营销中心可以面向盈余情况良好且没有住房贷款的人群。
• 通话时间：通话时间越长，客户的营销成功率明显增加，因此可以将通话时间高于平均值的客户设为目标群体。

7.2 营销策略

• 营销月份：营销活动主要集中在8月、5月、2月，同时5月、2月的营销都很成功，具体原因尚不知晓，但是下一次营销活动可以参考这几个月的营销经验。
• 通话时间：通话时间的长段与用户业务率呈正相关关系，因此可以考虑通过在通话期间为潜在客户提供有趣的问卷等方式，来增加通话时间，并最终提升营销活动效率。