美文网首页
数据挖掘是什么?能解决什么问题?

数据挖掘是什么?能解决什么问题?

作者: 小黄鸭呀 | 来源:发表于2020-07-10 10:10 被阅读0次

数据挖掘其实是个“古老”的技术,已经有几十年历史了,近年来红火的人工智能又让这个古老技术有了更多关注。

那么,到底什么是数据挖掘呢?它又能做什么事呢?

傍晚小街路面上沁出微雨后的湿润,和煦的细风吹来,抬头看看天边的晚霞,嗯,明天又是一个好天气。走到水果摊旁,挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜,心里期待着享受这个好瓜。

由路面微湿、微风、晚霞得出明天是个好天气。根蒂蜷缩、敲声浊响、色泽青绿推断出这是个好瓜,显然,我们是根据以往的经验来对未来或未知的事物做出预测。

人可以根据经验对未来进行预测,那么机器能帮我们做这些吗?

能,这就是数据挖掘。

“经验”通常以“数据”的形式存在,数据挖掘的任务就是从历史数据(之前挑瓜的经历,注意是经历还不是经验)中挖掘出有用的“知识”,也就是所谓“模型”(现在就形成经验了),在面对新情况时(未抛开的瓜)模型就可以用来预测(是不是好瓜)。

用高中生能理解的数学语言来讲,数据挖掘建模任务的本质就是,根据一些历史已有的、从输入空间 X(如 {[色泽青绿;根蒂蜷缩;敲声浊响],[色泽乌黑;根蒂蜷缩;敲声沉闷],[色泽浅白;根蒂硬挺;敲声清脆]} )到输出空间 Y(如 {好瓜,坏瓜,坏瓜})的对应,找出一个函数 f: 这个函数就是我们要的模型。有了模型之后再做预测就简单了,也就是拿一套新 x,用这个函数算一个 y 出来就完了。

那么,模型又是怎么建立出来,也就是这个函数是怎么找出来的呢?

想想如何让一个人拥有判断瓜好坏的能力呢?

需要用一批瓜来练习,获取剖开前的特征(色泽、根蒂、敲声等),然后再剖开它看好坏。久而久之,这个人就能学会用剖开前瓜的特征来判断瓜的好坏了。朴素地想,用来练习的瓜越多,能够获得的经验也就越丰富,以后的判断也就会越准确。

用机器做数据挖掘是一样的道理,我们需要使用历史数据(用来练习的瓜)来建立模型,而建模过程也被称为训练或学习,这些历史数据称为训练数据集。训练好了模型后,就好象发现了数据的某种规律,就可以拿来做预测了。

也就是说,数据挖掘是用来做预测的,而要做到这种预测,需要有足够多已经有结果的历史数据为基础。

那么,这种预测技术如何在我们的生产销售过程中应用呢?

以贷款业务为例,金融机构要做风险控制,防止坏帐,就要在放贷前知道这个贷款人将来不能按时还款的风险,从而决定是否放贷以及贷款利率。

要做到这件事,我们要有一定数量的历史数据,也就是以前贷款人及贷款业务的各种信息,比如贷款人的收入水平、受教育程度、居住地区、信用历史、负债率等等可能会影响违约率的因素,还有贷款本身的金额、期限、利率等等。需要注意的是历史数据中一定要同时包含好客户和坏客户(也是在发生违约不还款的客户),并且坏客户的数量不能过少。

通常可以截取近几个月或近一年的历史数据作为训练数据,定义好目标变量 Y(如坏客户为 1,好客户为 0),然后就可以使用数据挖掘技术建立模型来寻找用户及贷款的各种信息 X 和目标 Y 之间的关系。建好的模型可以用来预测,及时发现高风险用户。

需要说明的,数据挖掘模型的预测并不能保证 100% 准确(有很多种办法来评估它的准确率),所以如果只有一例目标(比如只有一笔贷款)需要预测时,那就没有意义了。但通常,我们会需要都会有很多例目标需要预测,这样即使不是每一例都能预测正确,但能保证一定的准确率,这仍然是很有意义的。对于贷款业务,模型找出来的高风险客户未必都是真地,但准确率只要足够高,仍然能够有效的防范风险。

数据挖掘技术可以广泛地应用于各行各业,工业领域中可以根据历史生产数据来预测良品情况,从而改进工艺参数降低不良率;畜牧业可以使用数据挖掘技术根据测量牲畜体温来预测牲畜是否生病,从而提前防治;医院也可以使用历史医疗记录基于数据挖掘技术找出关联规律,帮助医生更好地诊断疾病。

对进一步数据挖掘和 AI 技术感兴趣的同学还可以搜索“乾学院”,上面有面向小白的零基础“数据挖掘”免费课程,或者直接点下面的链接也可以 :

http://www.raqsoft.com.cn/wx/course-data-mining.html

相关文章

  • 数据挖掘是什么?能解决什么问题?

    数据挖掘其实是个“古老”的技术,已经有几十年历史了,近年来红火的人工智能又让这个古老技术有了更多关注。 那么,到底...

  • 这才是正确的数据分析步骤

    勿忘初心,方得始终”,做数据分析前要想好针对的问题是什么,想通过数据分析解决什么问题,数据分析的结果能帮助你达到什...

  • 大数据 - (二) - Hadoop框架

    HADOOP框架 大数据技术解决的是什么问题? 解决海量数据的存储和计算 Hadoop的广义和狭义之分 狭义的Ha...

  • 数据挖掘,如何操作?(编号99---1000天计划)

    数据挖掘,最重要的,就是思路。 要想清楚5W2H: 1W. 做分析要解决什么问题(Why),即:原因(Why)——...

  • spring cloud微服务主要组件作用和架构介绍

    解决什么问题 →spring cloud是什么,解决什么问题; →spring cloud通过什么组件相互解决问题...

  • docker 安装jenkins

    一、前言 Jenkins是什么?为什么要使用Jenkins? Jenkins能帮我们解决什么问题?Jenkins是...

  • 销售沟通技巧

    销售沟通技巧的六大步骤: 1、你找我想达到什么目的(解决什么问题)。 2、是什么原因导致了你现在的结果?(挖掘着力...

  • 我理解的数据挖掘

    数据挖掘实质:对数据充分挖掘利用,以解决业务问题并提升业务效果的过程 数据挖掘整体流程: -业务理解(业务流程,业...

  • A tutorial on using the rminer R

    数据挖掘 这是一个数据挖掘的常规流程: 业务理解 :背景是什么,问题的目的是什么 数据理解 :有哪些数据,那些数据...

  • 数据挖掘学习笔记(一)

    数据挖掘体系介绍 数据挖掘是什么? 什么是数据挖掘,简而言之,对数据进行挖掘,从中提取出有效的信息。一般我们会把这...

网友评论

      本文标题:数据挖掘是什么?能解决什么问题?

      本文链接:https://www.haomeiwen.com/subject/ecupcktx.html