大数据处理流程包含数据预处理、统计分析、数据挖掘和数据质量管理等系列环节。如下图所示：
数据处理业务架构
其中，数据预处理是对数据集进行抽样、转换、合并、删除、解析等数据预处理工作，主要是对数据格式、缺失值、异常值、记录、字段等进行处理，以便得到符合后续业务应用、数据统计和挖掘所需的高质量数据。数据统计和数据挖掘是通过大数据挖掘和机器学习模型对海量数据进行挖掘和学习，从而得到潜在的数据知识和规律。同时，作为数据质量相关的工作标准和规范的管理，也贯穿了整个数据处理的过程。 （1）数据预处理为保证入库数据质量和数据规范性，提高存储和数据访问效率，为后续的统计分析功能提供数据基础，我们将数据预处理过程分解成数据质量校验、清洗转换、质量提升三个步骤，采用专家知识库及核心算法库，利用时间序列、数据融合、内存计算等技术，建立数据处理模型，对海量数据进行数据清洗，生成具有一定关系和逻辑的高质量数据。
（2）统计分析数据统计分析。对设备运行的各种指标进行统计分析，包括发电指标统计、光资源指标统计、组件关键运行指标统计、逆变器关键运行指标统计、系统效率指标统计等，提供分类汇总、同比环比、偏差分析、排名分析等统计维度。主要侧重点是对不同维度的数据分布情况、时间变化趋势规律、多维度数据横向比较等进行数据统计计算。
（3）数据挖掘数据挖掘。通过时间序列、聚类分析、关联算法等算法，借助支持向量机等深度学习模型，挖掘历史运行数据中的隐藏规律，为用户提供决策支持。
（4）数据质量管理数据质量管理是数据工作的指导和规范文件，主要用于数据的开发、管理、维护、处理和应用的参照。根据流程将数据工作标准分为数据开发标准、数据处理标准、数据存储标准、数据建模标准和数据应用标准。
网友评论