关联分析，也称购物篮分析，本文目的：
基于订单表，用最少的python代码完成数据整合及关联分析
文中所用数据下载地址：
链接：https://pan.baidu.com/s/1GPKpw4oFJL-4ua1VuMW6yA
密码：ub6e
使用Python Anaconda集成数据分析环境，下载mlxtend机器学习包。包挺好，文档不太完善。
闲话少说，开始吧：
Step 1. 载入包
import pandas as pd
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules
Step 2. 读取原始数据包
df = pd.read_excel('./Online Retail.xlsx')
df.head()
image.png
Step 3. 数据预处理——选定样本
df['Description'] = df['Description'].str.strip()
df.dropna(axis=0, subset=['InvoiceNo'], inplace=True)
df['InvoiceNo'] = df['InvoiceNo'].astype('str')
df = df[~df['InvoiceNo'].str.contains('C')]
描述Description字段去除首尾空格，删除发票ID"InvoiceNo"为空的数据记录，将发票ID"InvoiceNo"字段转为字符型，删除发票ID"InvoiceNo"不包含“C”的记录
Step 4. 数据预处理——处理为购物篮数据集
方法一：使用pivot_table函数
import numpy as np
basket = df[df['Country'] =="France"].pivot_table(columns = "Description",index="InvoiceNo",
values="Quantity",aggfunc=np.sum).fillna(0)
basket.head(20)
方法二：groupby后unstack
basket2 = (df[df['Country'] =="Germany"]
.groupby(['InvoiceNo', 'Description'])['Quantity']
.sum().unstack().reset_index().fillna(0)
.set_index('InvoiceNo'))
basket选择法国地区数据，basket2为德国地区数据，不要忘记fillna(0)，将空值转为0，算法包需要。
用到的都是pandas数据整合基础功能，参考网址：
http://pandas.pydata.org/pandas-docs/stable/10min.html
整合后数据差不多长这样：
image.png
列名为商品名称，每一行为一个订单。
Step 5. 将购物数量转为0/1变量
0：此订单未购买包含列名
1：此订单购买了列名商品
def encode_units(x):
if x <= 0:
return 0
if x >= 1:
return 1
basket_sets = basket.applymap(encode_units)
basket_sets.drop('POSTAGE', inplace=True, axis=1)
使用dataframe的applymap函数，将encode_units在basket中的每个单元格执行并返回
删除购物篮中的邮费项（POSTAGE）
Step 6. 使用算法包进行关联规则运算
frequent_itemsets = apriori(basket_sets2, min_support=0.05, use_colnames=True)
rules = association_rules(frequent_itemsets, metric="lift", min_threshold=1)
frequent_itemsets 为频繁项集：
image.png
Support列为支持度，即 项集发生频率/总订单量
rules为最终关联规则结果表：
image.png
antecedants前项集，consequents后项集，support支持度，confidence置信度，lift提升度。
参考：http://www.360doc.com/content/15/0611/19/25802092_477451393.shtml
Final Step. 结果检视
rules[ (rules['lift'] >= 6) &
(rules['confidence'] >= 0.8) ]\
.sort_values("lift",ascending = False)
选取置信度（confidence）大于0.8且提升度（lift）大于5的规则，按lift降序排序
image.png
结论参考理论知识，自行解读 :)
欢迎交流，谢谢。
网友评论