Task1-赛题理解

参加datawhale 的活动，算是一种督促，也欢迎大家一起加入进行学习。
比赛链接如下[https://tianchi.aliyun.com/competition/entrance/531830/introduction]

赛题的整体目标是基于提供的数据，做一个二分类模型，用于预测用户的违约概率，评价指标是AUC。同时原比赛划分了A、B榜，两者差异不可知。

银行业中传统方式都是使用评分卡来评价用户的好坏，评分卡基于逻辑回归算法，同时对入模变量的区分度要求较高（单变量区分度不好，最终评分卡模型的区分度也可能较差）。同时xgb在机器学习算法中得到越来越多的应用（被称为大杀器），但是相对评分卡模型，xgb作为一种集成树模型的可解释性相对较差，无法直观的反映出变量和最终预测结果的逻辑关系，因此在金融领域也相对应用较少。不可否认的是，xgb模型的区分能力，大概率是优于评分卡模型的，因而也有越来越多的金融机构愿意尝试xgb、lgb等集成树模型。

本次比赛，会尝试评分卡模型和xgb、lgb算法，并进行对比。

数据挖掘比赛中，特征工程很重要，同时金融领域需要结合实际业务背景来进行变量衍生，保证变量的可解释性。赛题提供了47列变量信息，其中15列为匿名变量，其中变量解释如下：

• id 为贷款清单分配的唯一信用证标识
• loanAmnt 贷款金额
• term 贷款期限（year）
• interestRate 贷款利率
• installment 分期付款金额
• grade 贷款等级
• subGrade 贷款等级之子级
• employmentTitle 就业职称
• employmentLength 就业年限（年）
• homeOwnership 借款人在登记时提供的房屋所有权状况
• annualIncome 年收入
• verificationStatus 验证状态
• issueDate 贷款发放的月份
• purpose 借款人在贷款申请时的贷款用途类别
• postCode 借款人在贷款申请中提供的邮政编码的前3位数字
• regionCode 地区编码
• dti 债务收入比
• delinquency_2years 借款人过去2年信用档案中逾期30天以上的违约事件数
• ficoRangeLow 借款人在贷款发放时的fico所属的下限范围
• ficoRangeHigh 借款人在贷款发放时的fico所属的上限范围
• openAcc 借款人信用档案中未结信用额度的数量
• pubRec 贬损公共记录的数量
• pubRecBankruptcies 公开记录清除的数量
• revolBal 信贷周转余额合计
• revolUtil 循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
• totalAcc 借款人信用档案中当前的信用额度总数
• initialListStatus 贷款的初始列表状态
• applicationType 表明贷款是个人申请还是与两个共同借款人的联合申请
• earliesCreditLine 借款人最早报告的信用额度开立的月份
• title 借款人提供的贷款名称
• policyCode 公开可用的策略代码=1新产品不公开可用的策略代码=2
• n系列匿名特征 匿名特征n0-n14，为一些贷款人行为计数特征的处理

由于目前还没实际接触数据，先简单分析一下所提供的变量。

• 字符类型变量
  就业职称、房屋所有权状况、验证状态、贷款用途类别都是字符型，一般字符型都可以使用one-hot做哑变量处理，同时各个分类的占比也需要考虑。时间类型变量

• 金融类型变量
  既然是金融相关的赛题，金融类的变量一般相关度会更高一些。其中贷款金额、贷款利率、期限等，都是金融基于已有的评分系统，在申请时间点，对用户价值所给出的相关信息。很明显，用户贷款金额越高，其在申请时间的信用也越好（所以才放心给他贷款这么多钱嘛）。但同时，在经过几个月的不确定事件后，用户的还款意愿或者还款能力发生了变化，需要进一步结合其他变量进行分析，更准备描述用户的信用。

• 时间类型变量
  时间一般是一个很好的维度，但这次提供的相对较少，只有就业年限、贷款发放月份、最早报告的信用额度开立的月份。可以尝试与其他变量进行衍生进行分析。

• 用户状态变量
  用户基础信息，简单的例如性别年龄等（本次未提供），就业职称、就业年限等