美文网首页
Nifi流程配置: CSV >> Hive

Nifi流程配置: CSV >> Hive

作者: aries228 | 来源:发表于2019-01-18 17:31 被阅读0次

    1. 通过Ambari QuickLink打开Nifi UI

    2. 创建ProcessorGroup

    a. 拖动页面上方工具条中的ProcessorGroup图标至绘图区

    b. 命名Group并双击打开

    3.创建Overall flow

    1)添加GetFile Processor

    a.拖动页面上方工具条中的Processor图标至绘图区可以开始创建数据流,成功后如图

    b.在搜索框处输入想要添加的Processor。此处输入GetFile,然后点击Add,GetFile Processor 添加成功。

    c.双击GetFile处理器或者右击选择Configure进行配置,根据自身环境和需求,填写相关配置。然后点击APPLY。

    GetFile关键配置

    2)添加PutHive Processor

    a.同理添加PutHive,并做相应的配置。与GutFile不同的是,此处要创建Reader/Writer。

    PutHive关键配置

    b)Reader/Writer等相关配置如下

    CSVReader AvroSchemaRegistry

    insurance_schema

    insurance_schema AvroReader AvroRecordSetWriter CSVReaderSetWriter

    c)如图,点击右边的设置按钮可以进入配置,点击闪电样式的按钮可以启动。

    d)至此,PutHive Processor创建添加成功。

    3)连接两个Processor

    a.每个处理器都有一组定义的“关系”,最基本的是success和failure。把鼠标停在GetFile Processor,会看到一个箭头,拖动箭头到PutHive ,显示success即可。

    整体流程

    b.此时,PutHive上仍显示警告,提示为success、retry和failure关系未连接到其他组件和自动终止。可以右击configure,在setting中勾选中success、retry和failure即可实现自动终止。

    4.启动Processor

    a.依次启动Processor,一般按从后往前的顺序右击选择start。

    b.运行成功后,可以看到数据再不同位置的转移以及数据流的大小、时间等。NiFi为back pressure提供了两个配置元件。分别对应的是对象数量和数据大小。并且进度条基于队列百分比改变颜色:绿色(0-60%),黄色(61-85%)和红色(86-100%)。鼠标悬停在上面可以显示精确的百分比。

    c.当运行出现问题时,右上角会出现红色方框,放到上面会出现提示信息。

    相关文章

      网友评论

          本文标题:Nifi流程配置: CSV >> Hive

          本文链接:https://www.haomeiwen.com/subject/jnugdqtx.html