美文网首页Hive
Hive的UDF编程

Hive的UDF编程

作者: 明明德撩码 | 来源:发表于2018-03-10 07:06 被阅读20次

官方地址:https://cwiki.apache.org/confluence/display/Hive/HivePlugins

什么是UDF(user-Define-Function)?用户定义的函数。

查看hive自带的函数。

show funtion;

查询某个函数的详细使用手册

desc function extended split ;

UDF几种类型

UDF(User-Defined-Function)

一进一出

UDAF(User-Defined Aggregation Funcation)

聚集函数,多进一出;

类似于:count/max/min

UDTF(User-Defined Table-Generating Functions)

一进多出;

如lateral view explore()

UDF自定步骤

继承UDF ->实现evaluste方法

Creating Custom UDFs

First, you need to create a new class that extends UDF, with one or more methods named evaluate.

 
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
 
public final class MyLower extends UDF {
  public Text evaluate(final Text s) {
    if (s == null) { return null; }
    return new Text(s.toString().toLowerCase());
  }
}
2:打开eclipse创建maven工程并添加依赖

hive-client依赖jar包。

3、把MyLower 类打个jar包
4、(方式1)进入hive客户端,添加jar包:hive>add jar /opt/datas/MyLower.jar;
5、创建临时函数:

hive>CREATE TEMPORARY FUNCTION MyLower AS 'com.example.hive.udf.MyLower ';

6、show function;
7、使用 hive>select empno,mylower(ename) from emp ;
(方式2)

CREATE FUNCTION myfunc AS '类路径' USING JAR 'hdfs:///path/to/jar';

例子:

相关文章

  • hive积累大全

    此篇内容:hive自定义函数UDF、UDTF,压缩存储方式,hive优化、hive实际编程SQL中的if表达式用法...

  • Hive的UDF编程

    官方地址:https://cwiki.apache.org/confluence/display/Hive/Hiv...

  • Hive中UDF编程

    UDF介绍及编程要点 Hive中自带了许多函数,方便数据的处理分析。但是有时候没有内部的函数来提供想要的功能,需要...

  • hive编程指南-udf

    1、udf 2、udaf多行转化为一行,类似于count 3、hdtf一行展开为多行,类似于explode

  • Hive的UDF编程-GenericUDF编程

    UDF简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户自定义函数...

  • Hive从入门到精通8:Hive自定义函数(UDF)

    1.什么是Hive UDF? Hive中的用户自定义函数(即User Defined Function,简称UDF...

  • java读取hive的orc文件

    hive API2hive udf 读取HDFS的orc文件

  • hive中UDF和UDAF使用说明

    Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4...

  • Hive- UDF&GenericUDF

    hive udf简介 在Hive中,用户可以自定义一些函数,用于扩展HiveQL的功能,而这类函数叫做UDF(用户...

  • 【Hive】Hive UDF

    [TOC] 一、UDF 介绍 UDF(User-Defined Functions)即是用户自定义的hive函数。...

网友评论

    本文标题:Hive的UDF编程

    本文链接:https://www.haomeiwen.com/subject/kprdfftx.html