Azure Data Platform Azure Data

关于对数据的使用，除了存储（数据库），还有收集（ETL/ELT）及分析。文章是介绍Azure Data Factory（ADF）

前言

作为一个数据平台解决方案，数据收集是其中一个必要的部分。 在选择数据收集工具时，有几个点需要考虑（假定你的环境是基于云，这里的Azure）

1. 是否使用平台提供的？有很多厂商都提供了本地版和基于云版本的工具。如何选择需要多方考虑，特别是企业既定的策略。
2. 时效性：传统ETL工具通常都是T+1，延时比较严重，对于当今的环境而言，有点不太适合了。不过具体还是需要根据项目而定。
3. 费用：当然，免费的工具就不建议商用了。

简介

根据企业的策略，本人所属项目以ADF为ETL工具，那么接下来的系列文章将会以它为主进行介绍和演示。那么我们首先要搞清楚ADF这个ETL工具能做什么？
Azure 数据工厂是适合这些类型的方案的平台。 它是基于云的数据集成服务，用于在云中创建数据驱动型工作流，以便协调和自动完成数据移动和数据转换。 使用 Azure 数据工厂可执行以下任务：

1. 创建和计划数据驱动型工作流（称为管道），以便从不同的数据存储引入数据。

2. 使用计算服务（例如 Azure HDInsight Hadoop、Spark、Azure Data Lake Analytics、Azure 机器学习）处理或转换数据。

3. 将输出数据发布到数据存储（例如 Azure Synapse Analytics），供商业智能 (BI) 应用程序使用。

ADF与其他ETL工具的不同点

用微软官方的说法，ADF就是简化了混合数据集成： Azure Data Factory

下面来简单介绍一下ADF的组件，内容主要来自于ADF文档：

• Pipeline：管道，其功能主要是以集合的形式封装功能（任务）。并且把参数值传递到下一个任务中。
• Mapping Data Flow：映射数据流，可视化传输逻辑（ETL中的T）。运行在完全托管的Spark集群上，并通过横向扩展的形式满足负载需求。
• Activity：活动，管道中的单一执行步骤。ADF目前支持三种类型的活动：数据移动活动、数据转换活动和控制活动。
• Dataset：数据集，管道输出输入中涉及的数据源。
• Linked Service：链接服务，类似于连接字符串，连接数据与计算资源（比如HDI）。
• Trigger：触发器，定义管道何时会被执行的处理单元。
• Control flow：控制流，控制管道的业务流程，设置分支，循环等。
  更多的介绍将在后续演示和使用中再深入提供。下面先进行环境准备

实际演示

打开Azure Portal，搜索数据工厂

image.png

“基本”选项页：填写必要信息

image.png
“Git配置”选项页：这一步暂不需要，所以选择稍后配置 Git：
image.png

“网络”选项页：如果还没搞清楚选项的用途，那就保留默认选项点击下一步：

image.png
“高级”选项页，作为入门，不选择密钥加密：
image.png
这里注意下方的“下载自动化模板”，如果在企业中，使用定义好的模板，可以节省配置时间和人工操作所带来的遗漏风险。
image.png
在点击“创建”按钮之后，大概1分钟左右就部署好了：
image.png