数据分析需要掌握的概念

商业智能 BI、数据仓库 DW、数据挖掘 DM 三者之间的关系

• 商业智能（Business Intelligence，BI） - 预测用户行为
  基于数据仓库，经过了数据挖掘后，得到了商业价值的过程
• 数据仓库（Data Warehouse，DW）： - 存储用户数据 - 金矿
  数据仓库将多个数据源进行汇总、整理，数据仓库量比较庞大，相比数据库是升级的概念
• 数据挖掘（Data Mining，DM）： - 对个体进行行为分析总结出来规律 - 炼金术
  包括分类、聚类、预测、关联分析等任务，从数据仓库中得到有用的信息，绘制成商业报告

元数据 VS 数据元

• 元数据（MetaData）：描述其它数据的数据，也称为“中介数据“
• 数据元 Data Element）：就是最小数据单元。

数据挖掘的流程

英文解释为 Knowledge Discovery in Database，KDD，数据库中的知识发现
包含分类、聚类、预测和关联分析

1. 分类: 就是通过训练集得到一个分类模型，然后用这个模型可以对其他数据分类

2. 聚类: 人以群分，物以类聚。聚类就是将数据自动聚类成几个类别，聚到一起相似度大，不在一起差异性大。我们往往用聚类做数据划分。

3. 预测: 就是通过当前和历史数据来预测未来趋势，可以更好地帮助我们识别风险和机遇。

4. 关联分析: 就是发现数据中的关联规则，它被广泛应用在购物篮分析，或事务数据分析中。

   
   image.png

KDD 过程:
输入数据 -> 数据预处理 -> 数据挖掘 -> 后处理 -> 信息

数据预处理通常包括:
数据清洗：去除重复数据，去噪声
数据集成：将多个数据源数据统一存放在数据存储中
数据变换：将数据转换成合适的数据挖掘形式，比如相同的计量单位

• 归一化 - 数据落到 0 - 1 之间

数据后处理: 将模型预测的结果进一步处理后导出

• 比如 0-1 之间的数据以 0.5 为界限进行四舍五入就可以实现后处理

白话数据概念 - 追女孩

• 商业智能会告诉你要追哪个？成功率多大？
• 数据仓库会告诉你存储了这几个女孩的信息，你要吗？
• 每个女孩有单独文件夹（元数据），里面有姓名生日（数据元 - 数据单元）等
• 数据挖掘会帮助你确定追哪个女孩，并且整理好套路给你用
• 分类算法：御姐还是萝莉
• 女孩太多 - 聚类算法
• 你想要女孩的闺蜜 - 关联分析算法
• 给你推荐女孩的人太多，有重复 - 数据清洗
• 为了方便记忆，把不同朋友推荐的女孩信息和成一个 - 数据集成
• 有些女孩给你的体重信息是斤有些是公斤 - 数据变换
• 最后数据可视化

上帝不会告诉我们规律，而是展示给我们数据