一：自定义UDF函数

UDF函数的特点是：多参数/单参数-》单个返回值，并且多个参数是一行当中的数据，不能实现跨行。常见的UDF函数有很多，比如concat，lenth等等，下面举一个自定义的例子。

测试数据准备：

select name,age,attribute
from dw_tmp.mydefineUDF  

测试数据.png

自定义UDF函数代码实现步骤：
1：自定义类继承UDF
2：至少实现一个evaluate方法，入参和返回值根据需求自己定义

import org.apache.hadoop.hive.ql.exec.UDF;

public class TestUDF extends UDF {
    public String evaluate(String param1, int param2){
        return param1+String.valueOf(param2);
    }
}

接下来测试一下：

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myconcat as 'com.husor.bigdata.udf.base.TestUDF';

select name,age,myconcat(name,age) as nameAge
from dw_tmp.mydefineUDF;

找一台hive执行机，把jar上传到自己指定的目录，然后进入hive shell，执行以上命令，得出如下结果：

UDF结果.png

二：自定义UDAF函数

UDAF函数的特点是对多行的字段进行聚合相关操作，一般伴随着group by分组关键字出现，hive自带的UDAF函数有很多，比如AVG，SUM，MAX等，以下是一个自定义的UDAF函数实现：

import org.apache.hadoop.hive.ql.exec.UDAF;
import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;

public class TestUDAF extends UDAF {
    public static class MyTestUDAF implements UDAFEvaluator {

        private int result;

        @Override
        public void init() {
            result = 0;
        }

        public boolean iterate(int age) {
            result = result + age;
            return true;
        }

        public int terminatePartial() {
            return result;
        }

        public boolean merge(int other) {
            result = result + other;
            return true;
        }

        public int terminate() {
            return result;
        }
    }
}

其实这就是一个很简单的sum函数，解释一下如何实现：
1：自定义一个类继承UDAF
2：在类内部创建静态内部类实现UDAFEvaluator
3：init()函数就是初始化用的
4：iterate(入参)，这个函数就分组后，针对组内元素做具体逻辑操作的函数，比如上述例子是累加。
5：terminatePartial()，这个函数相当于combine操作，就是map端的reduce，即局部聚合，这里只要将局部聚合的值返回就好。
6：merge()，这个函数是将多个局部聚合的值进行合并
7：terminate()返回最终的结果

测试一下UDAF函数效果：

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION my_sum as 'com.husor.bigdata.udf.base.TestUDAF';

select my_sum(age) as sumAge
from dw_tmp.mydefineUDF;

测试结果.png

三：自定义UDTF函数

UDTF函数的特点是可以输出多行数据，结合lateral view创建虚拟表使用。举个例子，之前表的attribute字段用@分行，用|分字段，现在要用一个UDTF函数将其解析成多行两个字段的数据，并且使用lateral view做成虚拟表使用。参考一下自定义的UDTF代码:

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;

import java.util.ArrayList;

public class TestUDTF extends GenericUDTF {

    // 1.此方法返回UDTF的返回行的信息（返回个数，类型）
    @Override
    public StructObjectInspector initialize(ObjectInspector[] argOIs)
            throws UDFArgumentException {
        if (argOIs.length != 1) {
            throw new UDFArgumentLengthException("argOIs takes only one argument");
        }
        if (argOIs[0].getCategory() != ObjectInspector.Category.PRIMITIVE) {
            throw new UDFArgumentException("argOIs takes string as a parameter");
        }

        ArrayList<String> fieldNames = new ArrayList<String>();
        ArrayList<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>();
        fieldNames.add("hobby");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        fieldNames.add("address");
        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames,fieldOIs);
    }
    @Override
    public void process(Object[] objects) throws HiveException {
        if (objects.length != 1) {
            throw new UDFArgumentLengthException( "objects args num is not correct.");
        }
        if (objects[0] == null) {
            throw new UDFArgumentException("objects args has null value");
        }
        String hobbyAddress = objects[0].toString();
        String[] line = hobbyAddress.split("@");
        for (String s : line){
            String[] field = s.split("\\|");
            forward(field);
        }
    }

    @Override
    public void close() throws HiveException {

    }
}

解释一下如何实现：
1：首先继承UDTF函数，并实现其方法。
2：initialize函数，初始化使用，用来定义返回行的字段个数和类型。
3：process函数，真正做解析时调用的函数，使用forward返回一个数组，即一行数据。
4：close函数，收尾函数，结束以后清洗操作。

测试一下，看一下效果：

add jar #{udf-1.0-jar-test};
CREATE TEMPORARY FUNCTION myUDTF as 'com.husor.bigdata.udf.base.TestUDTF';
select name
    ,age
    ,t2.hobby as hobby
    ,t2.address as address
from dw_tmp.mydefineUDF t1 lateral view myUDTF(attribute) t2 as hobby,address

测试结果.png

最后结果显示的爱好和地址没有对上，之前在构造数据的时候没构造好，不过不影响理解。