大数据挖掘是大数据开发所运用的主要应用场景，他主要面临三方面挑战，这是学习大数据并出来进行应用所需要必须克服的。
大规模性VS可计算性
数据规模的急剧膨胀给数据挖掘,特别是面向互联网的数据挖掘带来了巨大挑战.为了使巨量数据可计算,一些新的高性能计算方法逐渐涌现.2004年,Google公司首先推出了以MapReduce为代表的非关系数据管理技术,作为面向大数据分析和处理的并行计算模型,很快引起了学术界和工业界的广泛关注.
事实上,MapReduce是在大规模非结构化数据的管理层面为人们提供了一种并行处理架构.而在大数据数据分析与挖掘层面遭遇的可计算性挑战方面,尽管已有一些工作,但还处于借用MapReduce对数据进行管理的阶段,还没进入面向数据挖掘任务、针对大数据本身研究其拆分理论与方法,以应对可计算性挑战的阶段。
多模态性VS有效性
多模态是大数据的另一个显著特点.当前,数据采集方式、手段的多样性一方面为人们提供了从不同视角观测自然系统、工业系统、社会系统中复杂现象的可能性。比如,在医疗检测中,提供的心电、脑电、超声、X射线、电子计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)、单光子发射断层成像(SPECT)及功能磁共振成像(FMRI)等多种模态信息是互为差异、互相补充的,对不同模态信息进行适当的融合成为临床诊断和疾病治疗的迫切需求.在天体物理研究中,太阳大气成像仪记录了太阳内部结构和磁场结构、太阳的极紫外线辐射、太阳盘面的数个不同波长紫外线和极紫外线影像,一天生成的数据将近2T.太阳物理学家需要从如此海量的多模态数据中发现太阳活动的物理规律,以揭示空间天气的形成机理,并建立可靠的预报模型.
当前,在一些领域已经开展了多模态数据分析的探索性研究,主要思路是:将分别从不同模态的数据中提取的特征合并成一个更大的特征空间,然后在这个特征空间中进行数据分析与挖掘.现有方法属于特征层面融合后的分析思路,其有效性依赖于根据先验知识提取的特征,难以推广到先验知识匮乏的前沿探索领域.现有方法的主要局限性表现在以下3个方面.
其一,所获取的数据模式(知识)表现出高度非线性特点,难以被用户理解;
其二,难以对带有分支、层次、网络等结构的复杂问题进行数据层面的建模;
其三,融合仅限于特征层面,还没有深入到知识和推理层面.
如何充分利用大数据的多模态性,发展面向复杂问题求解,能从数据、特征、知识、推理等不同层面体现融合思想,具有分层递阶、分而治之特点的高效挖掘理论与方法是多模态大数据分析的主要挑战。 成都加米谷大数据培训机构，大数据开发，数据分析与挖掘，2019新年预报名学费特惠，详情见加米谷大数据官网。
增长性VS时效性
大数据的又一个显著特点是数据量随着时间快速积累、迅速增长,人们可以充分利用历史数据和新增数据分析对象的状态、预测事件的发展趋势.许多实际应用领域的数据挖掘任务具有较高的时效性要求... 全文：http://www.dtinone.com/article/000000029
网友评论