1.1
数据挖掘指的是从大量的数据中提取、挖掘出有趣的知识或模式的过程或者方法。
(a)数据挖掘不是一种广告宣传。随着大规模可用数据的增长,将这些数据转化为有用的信息和知识的需求日益迫切,而数据挖掘正是满足了这种需求。所以,数据挖掘可以看做是信息技术发展而催生的产物。
(b)数据挖掘不仅仅是一种从数据库、统计学、机器学习、模式识别发展而来的技术的简单转换。更准确地说,数据挖掘是对来自多个学科技术的集成,包括:数据库技术,统计学,机器学习,模式识别,高性能计算,神经网络,数据可视化,信息检索,图像和信号处理,空间数据分析等。
(c)机器学习是一门人工智能的科学,其主要研究领域之一是,计算机程序基于数据自动地学习识别复杂的模式,并做出智能的决断。在机器学习的过程中,各种复杂有效的模型和方法被提出,目的是提高机器学习的性能指标。可以看出数据挖掘和机器学习有许多相似之处,都需要从数据中获得知识,而机器学习中的许多方法和模型也可以运用于数据挖掘的问题中。可以说,数据挖掘是机器学习自然发展的产物,机器学习促进了数据挖掘的发展。
(d)数据挖掘所涉及的步骤:
1.数据清洗:消除噪声和删除不一致数据
2.数据集成:将多种数据源组合在一起
3.数据选择:从数据库中提取与分析任务相关的数据
4.数据变换:把数据变换和统一成适合挖掘的形式
5.数据挖掘:采用智能化的有效的方法,提取有用的知识或者模式
6.模式评估:根据某种兴趣度度量,识别代表知识的真正有趣的模式
7.知识表示:通过可视化和知识表示技术,向用户提供挖掘的知识
1.2
数据仓库与数据库的不同:数据仓库是来自多个数据源的数据的存储仓库,这里面的数据有一定的时间跨度,采用统一的存储模式,用于数据分析和决策支持。然而,数据库存储的是相互关联的数据,并且数据反映的是当前的一种状态(时间跨度小)。因为存在多种异构数据库,所以不同数据库模式之间可能存在着冲突。数据库系统支持即时查询和在线事务处理。
数据仓库和数据库的相似之处:都可以存储大量的持久的数据
1.4
例如,一个百货商店可以通过数据挖掘帮助其开展邮件目标营销活动。使用数据挖掘技术,比如关联技术,百货商店可以发现商品之间的强关联规则,通过这些关联规则,可以知道已购买某些产品的消费者群体接下来可能会购买哪些其他产品。根据这些信息,百货公司可以通过电子邮件将营销材料发送给那些更有可能购买产品的用户。数据查询处理用来检索数据或者信息,不能找出关联规则。同样,简单的统计分析不能用于处理大规模的数据,比如一个百货公司中消费者的消费记录。
1.9
数据挖掘算法的效率和可伸缩性问题。一个数据挖掘算法是高效的和可伸缩的,指的是在预想的和可接受的运行时间内,数据挖掘算法能够有效地从数据库的海量数据中提取出有价值的信息。
实现数据挖掘算法的并行处理,分布式处理,递增式处理。当需要处理许多大规模的数据库,待处理的数据是分布式数据,需要用到计算复杂度较高的数据挖掘方法时,应该考虑并行和分布式的数据挖掘算法。因为某些数据挖掘过程的代价很高,所以应该避免这些高代价数据挖掘过程的重复,而递增式的数据挖掘算法可以满足这种需求,在数据库更新后,递增式数据挖掘算法不需要重新处理数据库中所有的数据,而是可以在上一次结果的基础上进行处理更新。
网友评论