layout: post
title: 数据挖掘基本概念 --《数据挖掘导论》
categories: Course
description: 什么是数据挖掘、数据挖掘解决什么问题、数据挖掘的起源以及任务
keywords: 数据挖掘（data mining）、分类、聚类、关联分析、异常监测
参考书：Pang-Ning Tan《数据挖掘导论》 --人民邮电出版社
什么是数据挖掘？
数据挖掘是数据库中知识发现（knowledge discovery in database，KDD）一个不可缺少的一部分，知识发现就是将未加工的数据转换为有用信息的整个过程。显然，目前数据呈现指数型增长，数据来源早已经不限于数据库，比如音频、视频、图片、文本等等很多非结构化的数据都可以用于知识发现。下图figure-1，用来描述数据挖掘这个过程是比较恰当的。
figure-1
数据预处理是数据挖掘过程必须经历的一步，它的主要目的是将原始的未加工数据转化称为适合数据分析和挖掘的形式，涉及到多源数据的融合、数据的清洗（e.g. 分词、去停用词和一字词以及用word2vec训练词表征）以及特征的选择。可能数据挖掘过程中你会感觉到数据预处理是最为耗时费力的一步。
数据挖掘这一步主要是你利用各种机器学习的算法（eg 决策树、贝叶斯分类、SVD、DL等等）进行有用信息的挖掘和抽取，然而机器学习的算法太多了，我觉得这个东西急不得，需要一个一个来，最好每一个学习算法都能用到一个实例，这样才能对算法有更多的感悟。
后处理步骤确保只将那些有效的和有用的结果集成到决策支持系统中去，而我们在平时的科研主要用到的是数据挖掘结果可视化用到论文中去。O(∩_∩)O哈哈~
数据挖掘要解决的问题
1、可伸缩性，数据挖掘处理海量数据集，所以算法应该是可伸缩的。eg 使用抽样技术或者并发和分布式算法。
2、高维度，经常遇到的数据集具有非常多属性，随着维度增加，计算复杂性也显著增加。自然语言处理中最难的一点就是对语句的表征，如果单纯使用one-hot方式表征，那么句子维度很高且数据稀疏，这就是word2vec最近几年这么流行的原因。
3、数据类型多样且多源，这涉及到对多类型数据的表示以及多源数据的融合问题。
数据挖掘与其他领域
数据挖掘涉及的内容多而杂，真心觉得需要学习的东西有点太多了，比如（1）来自统计学的抽样、估计和假设检验；（2）人工智能、模式识别和机器学习算法，以及涉及到最优化、矩阵理论、图论、信息论等等。下图figure-2展示了数据挖掘与其他领域的联系。
figure-2
数据挖掘任务
数据挖掘的任务主要分为两大类：预测任务和描述任务。预测任务的目标是根据其他属性的值，预测特定的属性值。二描述任务的目标是导出概括数据中的潜在联系的模式（eg 相关、趋势、聚类、轨迹、异常）。这个是书上的定义，而这本书也主要讲了四类数据挖掘任务：预测（分类+回归），关联分析（eg 是否买尿布会跟买啤酒相关）、异常检测（比如欺诈检测等等）、聚类（顾名思义：物以类聚）。
后记
当然，这本书毕竟出版了也近7年，所以涉及到的知识点也都较为传统，比如当下最为火的神经网络我也会慢慢学习并且整理出来的。也不知道什么时候能够整理出来，/(ㄒoㄒ)/~~
网友评论