美文网首页
配置ODPS上的自定义函数(UDF)

配置ODPS上的自定义函数(UDF)

作者: yfwz100 | 来源:发表于2015-11-08 12:19 被阅读2308次

穿衣搭配算法比赛终于要用UDF了,赶紧配置一个。发现官网上的介绍已经跟不上ODPS发展的步伐了,如果之前不是对Maven还有点了解,感觉配置一个UDF都不容易。几个相关的官网链接:编写UDF移动推荐算法参赛攻略以及UDF/MR本地开发工具(比较详细)。

Alibaba ODPS 为 Eclipse 专门定制了插件,但事实上,ODPS UDF 是为 Maven 定制的,任何对Maven提供标准支持的IDE都可以正常用。我就比较习惯用IntelliJ,对Maven和Gradle支持都不错。

ODPS 为 UDF 和 MapReduce 项目都提供了项目模板支持(就是官网的archetype,这个步骤实际上是建立一个UDF或者MapReduce的模板),在IntelliJ IDEA下,实际上直接输入官网提供的参数即可:

IntelliJ IDEA 配置 Maven Archetype

其中,

GroupId: com.alibaba.base
ArtifactId: base-udf-archetype/base-mr-archetype
Version:  1.0.0-SNAPSHOT
Repository: http://maven.sdk.de.yushanfang.com/SNAPSHOT

然后,就可以根据生成的例子实现自己的UDF了(貌似就是继承 UDF 类,详情见文档)。

和官网有点不一样的地方是,IntelliJ IDEA 不会提示你编写自己的项目信息,需要编辑 main/resources/credential.propertiesmain/resources/META-INF/base.udf.xml 。另外需要注意的是 idePath 的文件夹需要预先存在(官网给出的『workflow』需要改为『工作流』,否则文件夹不存在……)。

根据官网提示,编辑 .m2/settings.xml 文件,一般在 $HOME 目录下。这个步骤是为了添加向 Maven 注册非官方插件(还不在 Maven 的官方仓库里)。

最后,正常运行 Maven Goal 即可(在Maven面板),并填写相关参数(这个参数每个人都一样),如图:

运行Maven目标

相关文章

  • 配置ODPS上的自定义函数(UDF)

    穿衣搭配算法比赛终于要用UDF了,赶紧配置一个。发现官网上的介绍已经跟不上ODPS发展的步伐了,如果之前不是对Ma...

  • Hive函数

    自定义函数 自定义函数包括三种:UDF、UDAF、UDTF。 UDF(User-Defined-Function)...

  • IDEA下写hive的udf(踩坑教程)

    配置maven的过程网上有很多这里就不写了。UDF用户自定义函数(user defined function)–针...

  • Hive的UDF编程-GenericUDF编程

    UDF简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数...

  • Hive 用户自定义函数 UDF,UDAF

    Hive有UDF:(普通)UDF,用户自定义聚合函数(UDAF)以及用户自定义生表函数(UDTF)。它们所接受的输...

  • Hive 3 - UDF函数

    Eclipse编写自定义UDF函数步骤 1、配置 pom 添加两个dependency 2、下载 hive-sit...

  • Hive 自定义函数 UDF

    Hive 自定义函数 UDF UDF:用户定义(普通)函数,只对单行数值产生作用; UDF只能实现一进一出的操作。

  • Flink1.9 UDF使用教程

    UDF是什么? UDF是用户自定义函数(User Define Function)的缩写,从定义可以看出UDF是一...

  • 【Hive】Hive UDF

    [TOC] 一、UDF 介绍 UDF(User-Defined Functions)即是用户自定义的hive函数。...

  • 【Hive】注册UDF的过程

    实现步骤 对比SparkSQL注册UDF的过程SparkSQL用户自定义函数UDF和UDAF、UDTF[https...

网友评论

      本文标题:配置ODPS上的自定义函数(UDF)

      本文链接:https://www.haomeiwen.com/subject/zvwchttx.html