某楼数据统计分析

1.导入数据

import os 
import pandas as pd
import matplotlib.pyplot as plt
os.chdir("/Users/liyili2/Downloads/datas/")
data=pd.read_csv(r"courses.csv")

2.将时间列字段转化为index。然后进行重采样操作。

index=pd.to_datetime(data['创建时间'])
df=pd.DataFrame(data=data.values,columns=data.columns,index=index)
df=df.drop("创建时间",axis=1)
df_w=df.resample('W').sum()

3.课程学习人数和学习时间。人均学习时间计算。

# 每次做单独分析时，最好复制一份整理好的数据，减少对原数据集影响
df_A = df.copy()

# 计算平均学习时间并添加列
df_A['平均学习时间'] = df_A['学习时间']/df_A['学习人数']
df_A.head()  # 预览
df_A.sort_values(by='平均学习时间',ascending=False)
df_A['平均学习时间/人数']=df_A['平均学习时间']/df_A['学习人数']
df_A=df_A.sort_values(by='平均学习时间/人数',ascending=False)

plt.scatter(df_A["平均学习时间"], df_A["学习人数"])
plt.xlabel('Average Study Time')
plt.ylabel("Number of Users")

4.对课程进行分类操作

 导入 jieba 分词模块
from jieba import analyse
a = []
for i in df_A['课程名称']:
    # 使用 jieba 分词并使用 TF-IDF 算法抽取两个关键词，仅返回英文、名词、动词、动名词
    a.append(analyse.extract_tags(i, topK=2, withWeight=False,
                                  allowPOS=('eng', 'n', 'vn', 'v')))
keywords = pd.DataFrame(a, columns=['关键词 1', '关键词 2'])
keywords.head()

df_B=df_A.copy()

# 复制一份数据集用于聚类
df_B = df_A.copy()
# 重置索引方便数据集拼接
df_B = df_B.reset_index()
# 将复制数据集与关键词数据集拼接，并删掉时间列
df_merged = pd.concat(
    [df_B, keywords], axis=1).drop("创建时间", axis=1)
# 预览合并后数据集
df_merged.head()

#为了方便聚类，我们这里针对关键词进行独热编码处理：
# 针对关键词进行独热编码处理
onehot = pd.get_dummies(df_merged[['关键词 1', '关键词 2']])
# 预览
onehot.head()

from sklearn.decomposition import PCA

# 将特征缩小至 5 维
pca = PCA(n_components=5)
# 返回降维后的值
feature_pca = pca.fit_transform(onehot)
feature_pca.shape

from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

# 建立模型
score = []
# 依次轮廓系数
for i in range(10):
    model = KMeans(n_clusters=i+2)
    model.fit(feature_pca)
    score.append(silhouette_score(feature_pca, model.labels_))
# 轮廓系数绘图
plt.figure(figsize=(20,16))
plt.plot(range(2, 12, 1), score)

#从轮廓系数反映的图像来看，我们可以定 K=6，即将课程聚为 6 类。

# 执行聚类
model = KMeans(n_clusters=6)
model.fit(feature_pca)
# 将类别列添加到数据集中
courses_ts_final = pd.concat(
    [df_merged, pd.Series(model.labels_, name='类别')], axis=1)
# 依照类别排序并预览数据
courses_ts_final.sort_values(by='类别',ascending=False)