美文网首页大数据mysql学习ing
sql学会这几步,数据分析就能立马掌握

sql学会这几步,数据分析就能立马掌握

作者: 数据分析不是个事儿 | 来源:发表于2019-10-10 09:22 被阅读0次

    什么,sql也能做分析?

    常见的数据清洗,预处理,,数据分类,数据筛选,分类汇总,以及数据透视等操作,用SQL一样可以实现(除了可视化,需要放到Excel里呈现)。SQL不仅可以从数据库中读取数据,还能通过不同的SQL函数语句直接返回所需要的结果,从而大大提高了自己在客户端应用程序中计算的效率。

    但是,这个过程需要很熟练掌握SQL!

    本文就利用提取MySQL的数据,通过写SQL的数据处理方式,来对一份淘宝数据进行用户分析。

    一、数据来源及说明

    本文从数据集中选取包含了2014年11月18日至2014年12月18日之间,8477名随机用户共1048575条行为数据,数据集的每一行表示一条用户行为,共6列。

    列字段包含以下:

    user_id:用户身份

    item_id:商品ID

    behavior_type:用户行为类型(包含点击、收藏、加购物车、购买四种行为,分别用数字1、2、3、4表示)

    user_geohash:地理位置(有空值)

    item_category:品类ID(商品所属的品类)

    time:用户行为发生的时间

    二、提出问题

    1、整体用户的购物情况

    pv(总访问量)、日均访问量、uv(用户总数)、有购买行为的用户数量、用户的购物情况、复购率分别是多少?

    2、用户行为转化漏斗

    点击— 加购物车— 收藏— 购买各环节转化率如何?购物车遗弃率是多少,如何提高?

    3、购买率高和购买率为 0 的人群有什么特征

    4、基于时间维度了解用户的行为习惯

    5、基于RFM模型的用户分析

    三、数据清洗

    1、导入数据

    由于数据量有100多万,通过数据库管理工具 Navicat 将数据集导入 MySQL 数据库会表较慢,我这里使用ETL工具kettle进行导数,能够提高导数效率,也方便后续实现报表自动化处理,数据库的表名为user。

    2、缺失值处理

    item_category 列表示地理位置信息,由于数据存在大量空值,且位置信息被加密处理,难以研究,因此后续不对item_category列进行分析。

    3、数据一致化处理

    由于 time 字段的时间包含(年-月-日)和小时,为了方便分析,将该字段分成 2 个字段,一个日期列(date)和一个小时列(time)。

    {!-- PGC_COLUMN --}

    由于 behavior_type 列的四种行为类型分别用 1,2,3,4 表示点击、收藏、加购物车、购买四种行为,为了方便查看数据,将1,2,3,4替换为 ‘pv'、’fav‘,’cart',‘buy' 。

    通过查询表结构,可以看到 date 列日期列不是日期类型:

    将date 列改成 date 类型:

    四、构建模型和分析问题

    1、总体用户购物情况

    (1)pv(总访问量)

    (2)日均访问量

    (3)uv(用户总数)

    (4)有购买行为的用户数量

    (5)用户的购物情况

    (6)复购率:产生两次或两次以上购买的用户占购买用户的比例

    2、用户行为转化漏斗

    在购物环节中收藏和加入购物车两个环节没有先后之分,所以将这两个环节可以放在一起作为购物环节的一步。最终得到用户购物行为各环节转化率,如下:

    不同的行业转化率会有差异,据2012年的一项研究表明,在整个互联网范围内,平均转化率为2.13%(数据来源于《精益数据分析》),图中所示购买行为的转化率为1.04%,与行业平均值存在较大差异,淘宝移动端用户行为的转化率还有很大的增长空间。

    3、购买率高和购买率为低的人群有什么特征

    购买率高用户特征:

    由以上结果可以看出,购买率高的用户点击率反而不是最多的,这些用户收藏数和加购物车的次数也很少,一般不点击超过5次就直接购买,由此可以推断出这些用户为理智型消费者,有明确的购物目标,属于缺啥买啥型,很少会被店家广告或促销吸引。

    购买率为低用户特征:

    由以上结果可以看出,购买率为低用户分为两类,一类是点击次数少的,一方面的原因是这类用户可能是不太会购物或者不喜欢上网的用户,可以加以引导,另一方面是从商品的角度考虑,是否商品定价过高或设计不合理;第二类用户是点击率高、收藏或加购物车也多的用户,此类用户可能正为商家的促销活动做准备,下单欲望较少且自制力较强,思虑多或者不会支付,购物难度较大。

    4、基于时间维度了解用户的行为习惯

    (1))一天中用户的活跃时段分布

    可以看出,每日0点到5点用户活跃度快速降低,降到一天中的活跃量最低值,6点到10点用户活跃度快速上升,10点到18点用户活跃度较平稳,17点到23点用户活跃度快速上升,达到一天中的最高值。

    (2)一周中用户活跃时段分布

    由于第一周和第五周的数据不全,因此这两周的数据不考虑到此次数据分析中。

    由以上结果可以看出,每周用户活跃度较稳定,每周五活跃度会有小幅降低,但是周末会慢慢回升。其中周五用户活跃度突增,这是由双十二电商大促销活动引起。

    5、基于 RFM 模型找出有价值的用户

    RFM模型是衡量客户价值和客户创利能力的重要工具和手段,其中由3个要素构成了数据分析最好的指标,分别是:

    R-Recency(最近一次购买时间)

    F-Frequency(消费频率)

    M-Money(消费金额)

    关于RFM模型,之前专门写过一篇文章《案例:手把手教你搭建RFM客户价值分析模型》

    由于数据源没有相关的金额数据,暂且通过 R 和 F 的数据对客户价值进行打分。

    (1)计算R-Recency

    由于数据集包含的时间是从2014年11月18日至2014年12月18日,这里选取2014年12月19日作为计算日期,统计客户最近发生购买行为的日期距离2014年12月19日间隔几天,再对间隔时间进行排名,间隔天数越少,客户价值越大,排名越靠前。

    (2)计算F-Frequency

    先统计每位用户的购买频率,再对购买频率进行排名,频率越大,客户价值越大,排名越靠前。

    (3)对用户进行评分

    对4330名有购买行为的用户按照排名进行分组,共划分为四组,对排在前四分之一的用户打4分,排在前四分之一到四分之二(即二分之一)的用户打3分,排在前四分之二到前四分之三的用户打2分,剩余的用户打1分,按照这个规则分别对用户时间间隔排名打分和购买频率排名打分,最后把两个分数合并在一起作为该名用户的最终评分。

    通过打分可以了解每位顾客的特性,从而实现差异化营销。比如对于 user_value = 44 的用户,为重点用户需要关注;对于user_value = 41 这类忠诚度高而购买能力不足的,可以可以适当给点折扣或捆绑销售来增加用户的购买频率。

    (4)kettle制作报表自动化

    为了实现监测每个月用户的评分变化,推测客户消费的异动状况,结合数据库使用ETL工具kettle实现定时输出评分结果:

    这里kettle实现过程不做详细描述。

    五、结论

    1、总体转化率只有 1%,用户点击后收藏和加购物车的转化率在 5% ,需要提高用户的购买意愿,可通过活动促销、精准营销等方式。

    2、购买率高且点击量少的用户属于理智型购物者,有明确购物目标,受促销和广告影响少;而购买率低的用户可以认为是等待型或克制型用户群体,下单欲望较少且自制力较强,购物难度较大。

    3、大部分用户的主要活跃时间在10点到23点,在19点到23点达到一天的顶峰。每周五的活跃度有所下降,但周末开始回升。可以根据用户的活跃时间段精准推送商家的折扣优惠或促销活动,提高购买率。

    4、通过 R 和 F 的数据对用户行为进行打分,对每位用户进行精准化营销,还可以通过对R 和 F 的数据监测,推测客户消费的异动状况,挽回流失客户。

    相关文章

      网友评论

        本文标题:sql学会这几步,数据分析就能立马掌握

        本文链接:https://www.haomeiwen.com/subject/txhopctx.html