RapidMiner（一）

作者: EvanForEver | 来源:发表于2018-05-28 21:32 被阅读489次

RapidMiner，以前叫YALE (Yet Another Learning Environment) 。
RapidMinder提供的实验由大量的算子组成，使用图形化的用户接口可以将这些算子以积木块的方式搭建成系统。
是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

一、数据可视化

各种主要的可视化图例：

Scatter: 散布图
Scatter Matrix: 散布图阵列
Parallel: 平行坐标系
Histogram: 直方图
Histogram Color: 使用类标染色的单属性直方图
Quartile:盒状图
Quartile Color: 使用类标染色的单属性盒状图

二、数据预处理

各种主要的预处理部件：

Aggregate: 聚集
Sample: 抽样
Sample (Stratified): 分层抽样
Principle Component Analysis: 主成份分析
Selection系列: 特征子集选择
Generate Attributes: 特征创建
Fourier Transformation: 傅立叶变换
Discretize by Binning: 等宽离散化
Discretize by Frequency: 等频离散化
Discretize by Entropy: 基于熵的离散化
Normalize: 变量标准化 (Z-transformation, range transformation)

三、预测建模

交叉验证

四、文本分类

文本预处理：文档→向量空间模型

对于英文：
1、词项抽取: 简单
2、停用词移除
3、词干提取
4、频率统计和计算TF-IDF词权值
对于中文：
1、词项抽取: 简单
2、分词
3、频率统计和计算TF-IDF词权值
停用词移除
英语中很多经常使用的词在信息检索和文本挖掘中是没有用的 – 这些词称作停用词.
the, of, and, to, ….典型地有400到500个这样的词
对于特定应用, 可以构造一个附加的领域依赖的停用词表.
为什么需要移除停用词?
1、减少索引 (或数据) 文件的大小：停用词占20-30%的总词量.
2、提高效率和有效性：停用词对于搜索或文本挖掘是没有用的；停用词还可能迷惑检索系统.
词干提取
词干提取是简化单词的技术, 用于将单词变成它们的词根或词干. 比如,
词干use：nuser、nusers、nused、nusing
词干engineer：engineering、engineered、engineer
用处:
1、提高信息检索和文本挖掘的有效性：匹配相似的单词；主要提高查全率
2、减少索引的大小：合并相同词干的单词可以将索引大小减少到40-50%.
基本的词干提取方法
使用一组规则. 比如,
 移除词尾
若单词以一个不是s的辅音字母再跟s结尾, 则删除s.
若单词以es结尾, 则去掉s.
若单词以ing结尾, 则除非余下部分仅有一个字母或者是th, 否则删除ing.
若单词以ed结尾, 并且ed前面是一个辅音字母, 则除非仅剩下一个字母, 否则删除ed.
…...
 变换单词
若单词以ies而不是eies或aies结尾, 则将ies改成y.
频率统计 + TF-IDF
1、统计文档中某个单词出现的总次数.
使用出现次数表示单词在文档中的相对重要性.
若单词在文档中经常出现, 则文档很可能阐述的是关联于该单词的主题.
2、统计在文档集中包含某个单词的文档数目.
若单词出现在数据集的很多文档中, 则它可能并不是很重要, 或者说没有区别度.
3、然后计算TF-IDF, 将文档转换成向量空间模型.