美文网首页
Hive自定义函数(UDF)(0925)

Hive自定义函数(UDF)(0925)

作者: hipeer | 来源:发表于2018-09-25 21:16 被阅读0次

Hive开发UDF的步骤:

  • 继承适当的UDF类或GenericUDF类
  • 覆盖适当的方法并实现相应的逻辑功能
  • 编译构建成jar包
  • 把编译好的jar包放到适当的HDFS路径中
  • 用jar创建临时/永久函数
  • 检查创建的函数
  • 不用这些函数的时候就删除他们

UDF类所在的包:

        <dependency>
            <groupId>org.apache.hive</groupId>
            <artifactId>hive-exec</artifactId>
            <version>0.12.0</version>
        </dependency>

一个简单的字符串拼接函数Hconcat

package udf.exmaple;

import org.apache.hadoop.hive.ql.exec.UDF;

public class Hconcat extends UDF {

    public String evaluate(String str1, String str2, String sgin) {

        try {
            return str1 + sgin + str2;
        } catch (Exception e) {
            return "000000000";
        }
    }
}
  1. 构建Maven项目,编写Hconcat类必须继承UDF,并且需要必须重写evaluate方法。
  2. 把该Maven项目打包成jar包上传到HDFS的合适(自己随便找)目录中
  3. 在Hive中创建函数
create temporary function Hconcat as 'udf.exmaple.Hconcat' using jar 'hdfs:///user/root/Hconcat.jar';
//或者
add jar hdfs:///user/root/Hconcat.jar;
create temporary function Hconcat as 'udf.exmaple.Hconcat';
  1. 检查是否创建
show functions;
  1. 使用函数
select Hconcat("ID", user_id, "=") from users limit 5;
  1. 删除函数
drop temporary function Hconcat;

相关文章

  • Hive从入门到精通8:Hive自定义函数(UDF)

    1.什么是Hive UDF? Hive中的用户自定义函数(即User Defined Function,简称UDF...

  • Hive- UDF&GenericUDF

    hive udf简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户...

  • 【Hive】Hive UDF

    [TOC] 一、UDF 介绍 UDF(User-Defined Functions)即是用户自定义的hive函数。...

  • Hive自定义函数(UDF)(0925)

    Hive开发UDF的步骤: 继承适当的UDF类或GenericUDF类覆盖适当的方法并实现相应的逻辑功能编译构建成...

  • Hive 用户自定义函数 UDF,UDAF

    Hive有UDF:(普通)UDF,用户自定义聚合函数(UDAF)以及用户自定义生表函数(UDTF)。它们所接受的输...

  • Hive的UDF编程-GenericUDF编程

    UDF简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数...

  • Hive开发自定义函数UDF

    Hive 内置函数 Hive自定义函数 UDF(User-Defined-Function) 一进一出 UDAF(...

  • 学习中的关键的问题

    hive中的topn操作需要使用到hive的窗口函数执行操作的。 spark的udf可以实现自定义的udf的函数的...

  • Hive 自定义函数 UDF

    Hive 自定义函数 UDF UDF:用户定义(普通)函数,只对单行数值产生作用; UDF只能实现一进一出的操作。

  • hive积累大全

    此篇内容:hive自定义函数UDF、UDTF,压缩存储方式,hive优化、hive实际编程SQL中的if表达式用法...

网友评论

      本文标题:Hive自定义函数(UDF)(0925)

      本文链接:https://www.haomeiwen.com/subject/rboloftx.html