数据挖掘知识清单

image.png

数据挖掘基本流程 - 6步骤

• 商业理解 - 目的
  挖掘不是目的，帮助业务才是目的，从商业的角度理解项目需求，再开始定义挖掘目的​
• 数据理解 - 初步认知
  收集、探索数据，包含数据描述、数据质量验证等
• 数据准备 - 收集
  清洗、数据集成等准备工作
• 模型建立 - 分类
  选择和应用各种数据挖掘模型，并进行优化，以便得到更好的分类结果
• 模型评估 - 商业目标
  对模型进行评价，并检查模型的每个步骤，确认是否实现了预定的商业目标
• 上线发布 - 知识转化成可用发方式
  可以是一份报告、也可以是可复用的数据挖掘过程等，数据挖掘结果如果是日常运营的一部分，那么后续监控维护就很重要

数据挖掘十大算法 - 经典

• 分类算法
  • C4.5/决策树算法
    十大算法之首，在决策树构造过程中进行剪枝，且可以处理连续属性，也能对不完整的数据进行处理
  • 朴素贝叶斯/Naive Bayes
    基于概率论的原理，主要思想：对于给出未知物体想要进行分类，就需要求解在这个未知物体出现的条件下各个类别出现的概率，哪个最大就认为这个未知物体属于哪个分类
  • SVM/支持向量机（Support Vector Machine）
    在训练中建立了一个超平面的分类模型。后续会介绍
  • KNN/K 最临近算法（K-Nearest Neighbor）
    K 临近就是每个样本都可以用它最接近的 K 个邻居来代表，如一个样本，它的 K 个最接近的邻居都属于分类 A，那么这个样本也属于 A
  • Adaboost
    在训练中建立了一个联合的分类模型，boost 是提升的意思，Adaboost 是个构建分类器的提升算法，它可以让多个弱分类器组成一个强分类器，常用算法
  • CCART/Classification and Regression Trees
    代表分类和回归树，它构建了两棵树：一颗是分类树，一颗是回归树，和 C4.5 一样，是决策树学习方法
• 关联分析
  • 我想把物体划分成 K 类，假设每个类别里面，都有个‘中心点’即意见领袖，它是这个类别的核心。现在我有一个新点要归类，这时候就只要计算这个新点与 K 个中心点的距离，距离哪个中心点近，就变成哪个类别
  • EM/最大期望算法
    是求参数的最大似然估计，原理：假设我们想要评估参数 A 和参数 B，在开始状态下二者都是未知的，并且知道了 A 的信息就可以知道 B 的信息，反过来知道了 B 也就知道了 A。可以考虑首先赋予 A 某个初值，以此得到 B 的估值，然后从 B 的估值出发，重新计算 A 的取值，这个过程一直持续到收敛为止，常用于聚类和机器学习中。
  • 连接分析
    • PageRank
      被链接次数越多，权重越高

数据挖掘的数学原理 - 本质

概率论和数理统计、线代、等等

1. 概率论与数理统计
   条件概率、独立性、随机变量、多维随机变量
2. 线性代数
   向量、矩阵特征值特征向量，以下是基于矩阵的各种运算的解决方法
   • PCA
   • SVD
   • MF
   • NMF
3. 图论
   社交网络中，人与人的关系，可以用图论上的两个节点进行连接，节点的度可以理解为一个人的朋友数。图论对于网络结构的分析非常有效，在关系挖掘和图像分割中有重要作用。
4. 最优化方法
   相当于机器学习中的自我学习过程，最优化方法就是用更短的时间得到收敛，取得更好的效果