什么是NiFi

Put simply NiFi was built to automate the flow of data between systems. While the term dataflow is used in a variety of contexts, we use it here to mean the automated and managed flow of information between systems.

NiFi是一种数据流处理工具，可以将处在不同系统（数据库）中的数据进行统一的ETL，并进行存储。在不同的系统间进行数据的导入导出。NiFi具备图形化的Web界面，用户能够通过简单的拖拽连线，将数据以流的形式在不同的系统中处理。NiFi可以在集群上部署。

NiFi能解决什么问题

简单的说，如果你有三个数据库（数据仓库），Mysql，Hive,Hbase。存储着你需要的某些有关联的数据，你想要将三个数据库中的数据抽取出来，做某些处理后统一存储在某个数据库中。NiFi封装了对各个数据库的接口，在图形化界面中连接各个Processor,能够很轻松的实现这个需求。

NiFi的核心概念

NiFi是基于流的编程（Flow Basical Programming, FBP）的一种实现。下面简要介绍下NiFi的一些基本概念以及与FBP术语的一些联系。

NiFi Term	FBP Term	Description
FlowFile	Information Packet	数据被NiFi抽取出来后是以FlowFile的形式进行操作的，以字段的key/value键值对的形式进行存储
FlowFile Processor	Black Box	流文件处理器的对数据进行合并、路由、转换和调制解调等处理
Connection	Bounded Buffer	将Processor进行关联，以队列的形式操作，并且能够以不同的速率在不同的processes中交互
Flow Controller	Scheduler	Flow Controller维护着Processor对线程的管理和分配，充当不同Processor的协调者（broker）
Process Group	subnet	一些列处理的集合，可以通过合并多个component来创建一个新的components

NiFi的架构

NiFi的架构图

NiFi是运行在JVM之上的。

Web Server

NiFi能开启web服务，用户通过访问该服务器获取web图形界面，来与NiFi进行交互。

Flow Controller

NiFi最主要的部分，主要在这部分进行编程

Extensions

扩展部分

FlowFile Repository

追踪Flow File的状态

Content Repository

FlowFile的内容实际的活动位置

Provenance Repository

The Provenance Repository is where all provenance event data is stored. The repository construct is pluggable with the default implementation being to use one or more physical disk volumes. Within each location event data is indexed and searchable.

NiFi也可部署在集群上