数据湖

按百度百科给出的解释，“数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。”其实从字面上来理解也是行得通的，就是把数据中的脏东西洗掉，转变为高质量的数据。

那么数据中有哪些类型的脏东西呢？主要有四类：异常值、空值、重复值以及数据格式。

什么是数据湖

如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

数据湖从企业的多个数据源获取原始数据，并且针对不同的目的，同一份原始数据还可能有多种满足特定内部模型格式的数据副本。因此，数据湖中被处理的数据可能是任意类型的信息，从结构化数据到完全非结构化数据。

企业对数据湖寄予厚望，希望它能帮助用户快速获取有用信息，并能将这些信息用于数据分析和机器学习算法，以获得与企业运行相关的洞察力。

数据湖能给企业带来多种能力，例如，能实现数据的集中式管理，在此之上，企业能挖掘出很多之前所不具备的能力。

另外，数据湖结合先进的数据科学与机器学习技术，能帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。

企业数据中隐藏着多种能力，然而，在重要数据能够被具备商业数据洞察力的人使用之前，人们无法利用它们来改善企业的商业表现。

数据湖如何帮助企业：

长期以来，企业一直试图找到一个统一的模型来表示企业中所有实体。这个任务有极大的挑战性，原因有很多，下面列举了其中的一部分：

1. 一个实体在企业中可能有多种表示形式，因此可能不存在某个完备的模型来统一表示实体。

2. 不同的企业应用程序可能会基于特定的商业目标来处理实体，这意味着处理实体时会采用或排斥某些企业流程。

3. 不同应用程序可能会对每个实体采用不同的访问模式及存储结构。

这些问题已困扰企业多年，并阻碍了业务处理、服务定义及术语命名等事务的标准化。

从数据湖的角度来看，我们正在以另外一种方式来看待这个问题。使用数据湖，隐式实现了一个较好的统一数据模型，而不用担心对业务程序产生实质性影响。这些业务程序则是解决具体业务问题的“专家”。数据湖基于从实体所有者相关的所有系统中捕获的全量数据来尽可能“丰满”地表示实体。

数据湖能从以下方面帮助到企业：

1. 实现数据治理（data governance）与数据世系。

2. 通过应用机器学习与人工智能技术实现商业智能。

3. 预测分析，如领域特定的推荐引擎。

4. 信息追踪与一致性保障。

5. 根据对历史的分析生成新的数据维度。

6. 有一个集中式的能存储所有企业数据的数据中心，有利于实现一个针对数据传输优化的数据服务。

7. 帮助组织或企业做出更多灵活的关于企业增长的决策。

数据湖与企业的关系

数据湖能给企业带来多种能力，例如，能实现数据的集中式管理，在此之上，企业能挖掘出很多之前所不具备的能力。

另外，数据湖结合先进的数据科学与机器学习技术，能帮助企业构建更多优化后的运营模型，也能为企业提供其他能力，如预测分析、推荐模型等，这些模型能刺激企业能力的后续增长。

企业数据中隐藏着多种能力，然而，在重要数据能够被具备商业数据洞察力的人使用之前，人们无法利用它们来改善企业的商业表现。