Sparkify 预测客户流失

项目简介：

这是一个音乐服务数据集，项目里有个小型的数据集。该数据集记录艺术家，歌曲，时长，包括一些人口统计和地理数据，时间戳，性别，用户等级，用户操作记录信息（即具体操作如主页、升级、降级、播放歌曲、添加歌单，添加好友等）；这些数据很重要，可以数据中发现用户的喜好；本次项目的目的是预测用户的流失；本次项目通过一系列的数据分析，观察留存用户和流失用户的行为，寻找他们的共同特征，然后通过机器学习预测客户的流失；

运行环境

Python3.7

PySpark 2.4.5

Jupyter notebook

依赖库

pandas

numpy

pyspark

matplotlib

seaborn

参考文献

F1 score

ROC 和 AUC

CrossValidator

分析流程

一：加载和清洗数据

首先我们要加载数据，观察数据集，目测评估数据；

查看数据集结构：

我们通过查询，发现userId数据有缺失值，需要对数据进行清理；得到一份比较整洁对数据；

二：探索性数据分析

1.定义用户流失

完成数据清理后，我们再来对项目目的进行针对性的分析；首先我们要明确什么是客户流失，因为我们项目的目的是要预测客户的流失情况，我们这里表结构里面的page特征（用户操作事件字段）下面有个Cancellation Confirmation（取消事件）类型，我们可以通过这个来区分用户是流失用户还是留存用户；下面我们通过代码来创建一列 Churn，0为留存用户，1为流失用户；

2.分析跟用户流失相关的重要特征

通过上面分析我们知道用户流失churn是在page字段里面提取出来，那page字段里面其他类型是否也跟用户流失churn有很大关联，我们通过可视化分析图表展示；

下面我们来看churn状态和非churn状态的用户操作page事件次数多少；

可以看出不管在那个状态下，用户都是操作nextsong较多，所以听歌newsong这个特征也比较重要；由于nextsong的数量太多，其他page事件无法看清楚，下面我们查询不是newsong的其他page事件的数据；

现在看起来比较好，下面我们来整合排序一下，查看churn状态和非churn状态的用户操作page事件次数比例如何：

countrate的值越小，证明churn/nochurn的反差越大，about这个感觉没什么用， 我认为可以考虑error,Submit Downgrade,Thumbs Up，Add Friend， Add to Playlist，NextSong，Downgrade等字段次数特征；

下面我们来分析其他字段特征，从上面我们知道用户nextsong比较多，就是说，在音乐平台上，用户都是听歌的比较多，所以我们可以统计一下churn状态和非churn状态的用户听歌的时长，用户听歌的时长也是一个重要特征；

首先我们要新建几列，查看用户在hour，weekday，month等时间段听歌的差异；

从时间段来看用户在白天听歌比较小，在晚上听歌较多，还有用户在周二到周五听歌多点，听歌时长也可以作为一个特征分析；

下面我们来分析一下其他字段的，从表结构来看，gender（性别），level（等级）跟用户流失也有关联，下面通过图表来分析一下；

从图表可以看出性别为男的流失较多，还有等级为free流失较多；可以作为关联特征；

3. 从上面分析来，我认为比较重要的特征有以下几个：

- gender:性别

- level:等级

- song_time:听歌时长

- error_count:error数量

- Submit Downgrade_count:Submit Downgrade数量

- ThumbsUp_count:Thumbs Up数量

- AddFriend_count:Add Friend数量

- AddPlaylist_count:Add to Playlist数量

- Song_count:NextSong数量

- Downgrade_count：Downgrade数量

三：建模

对于数据建模方面，我通过以下几个模型进行训练

-Logistic Regression

-Gradient Boosted Trees

-Support Vector Machine

-Random Forest

训练模式使用了CrossValidator进行了模型参数调优；模型参数如下：

调参后，我整合了四个模型的训练方法，下面我定义了一个getAccuracyAndF1Scores函数，返回获取准确率Accuracy跟F1Scores，我们把模型名称，调参CrossValidator的参数传进去，运行该函数就可以得到相应模型的准确率Accuracy跟F1Scores；函数方法如下：

这里我们使用F-1评分作为指标；具体代码可以在文章下面git链接查看，通过训练我们得出4个模型的训练分数；

从结果来看四个模型的训练结果都差别不大；LogisticRegression跟SupportVectorMachine(SVM)的分数较高，在训练过程中SupportVectorMachine(SVM)的用时较少，个人认为在四个模型中SupportVectorMachine(SVM)最好，

数据建模方面，可能对建模这方面还不是很熟练，特别调参方面，可能导致预测不是很准确；后面需要加强建模及调参数的的训练， 这次项目模型运行的时间较长这里没办法实践太多次；

我的git链接

最后，谢谢大家查阅，如果大家有什么好的建议及有哪些可以改进的地方，可以留下评论；谢谢！