5_creating_custom_estimators

作者: happy_19 | 来源:发表于2018-06-13 20:47 被阅读13次

本文档主要记录了如何自定义Estimator。预创建Estimator与自定义Estmator的不同之处在于：预创建的Estimator是tf.estimator.Estimator的子类，而自定义Estimator是tf.estimator.Estimator的实例。自定义Estimator与预创建的Estimator类似的都需要编写输入函数以及组织特征列，但是自定义Estimator需要自己来编写模型函数，以便于根据实际需要实现模型中的各种算法等。
我们以鸢尾花问题为例，记录自定义Estimator是如何编写的。鸢尾花问题的网络机构如下图所示：

鸢尾花网络结构

1. 编写输入函数

继续使用iris_data.py中的输入函数，如下所示：

def train_input_fn(features, labels, batch_size):
    dataset = tf.data.Dataset.from_tensor_slices((dict(features), labels))
    dataset = dataset.shuffle(1000).repeat().batch(batch_size)
    return dataset.make_one_shot_iterator().get_next()

2. 创建特征列

my_feature_columns = []
for key in train_x.keys():
    my_feature_columns.append(tf.feature_column.numeric_column(key=key))

3. 编写模型函数

与预定义的Estimator不同，自定义Estimator需要自己编写和实现模型函数，模型函数的声明如下：

def my_model(
    features,    #input_fn返回的按批次的features
    labels,      #input_fn返回的按批次的labels
    mode,        #tf.estimator.ModeKeys实例，表示计算模式
    params       #附加的其他参数
):

其中mode表示调用程序是请求训练、预测还是评估。在创建Estimator实例时，会给tf.estimator.Estimator构造函数传递一个params参数，这个参数后续会传递给我们编写的model_fn函数，作为model_fn中的params参数。创建Estimator实例，代码如下：

classifier = tf.estimator.Estimator(
    model_fn = my_model,
    params = {
        "feature_columns": my_feature_columns,
        "hidden_units": [10, 10],
        "n_classes": 3,
    }
)

要实现一般的模型函数，需要实现如下内容：

定义模型
分别为三种不同的模式指定计算步骤
- 预测
- 评估
- 训练

4. 定义模型

基本的深度神经网络模型必须包含有如下三个部分：

一个输入层
一个或多个隐藏层
一个输出层

4.1 定义输入层

在model_fn中首先定义输入层，调用tf.feature_column.input_layer，以将特征字典和feature_columns转换为模型的输入，并且开始创建网络结构，代码如下：

net = tf.feature_column.input_layer(features, params["feature_columns"])

上述代码会应用特征列定义的转换，从而创建网络的输入层，如下所示：

input_layer

4.2 隐藏层

创建神经网络必须定义一个或多个隐藏层。Layers API提供了一组丰富的函数来定义所有类型的隐藏层，其中包括卷积层、池化层、全连接层等。当前只需要调用tf.layers.dense来创建隐藏层，并用params["hidden_layers"]来定义各层的节点数。在dense层中，每个节点都连接到前一层中的每个节点（全连接），代码如下：

for units in params["hidden_units"]:
    net = tf.layers.dense(nte, units=units, activation=tf.nn.relu)

units参数指定了该层输出神经元的数量
activation参数定义激活函数
这里的net变量表示当前网络的最顶层。在第一次迭代中，net表示输入层。在每次循环时，tf.layers.dense使用变量net创建一个新层，该层将前一层作为其输入。创建两个隐藏层之后，网络结构如下所示：
add_hidden_layer

4.3 输出层

再次使用tf.layers.dense来定义输出层，并且不使用激活函数：

logits = rf.layers.dense(net, params["n_classes"], activation=None)

这里，net是最后的隐藏层，最后添加好最后一层输出层之后，隐藏层与输出层结构如下：

add_logits
定义输出层时，units参数指定输出的数量。这里模型为每个类别生成一个输出值。输出向量的每个元素都是针对鸢尾花类型的logits值。
后续tf.nn.softmax函数会将这些数转化为概率。

5 实现训练、评估和预测

上面已经架构好了网络结构，接下来就是要针对预测、评估和训练分别编写代码。当调用Estimator的train、evaluate或者predict时，都会调用model_fn函数。model_fn第三个参数mode表示的就是以哪种方式调用这个模型函数。当调用train、evaluate或者predict时，Estimator框架调用模型函数并将mode参数设置如下值

Estimator方法	Estimator模式
train()	ModeKeys.TRAIN
evaluate()	ModeKeys.EVAL
predict()	ModeKeys.PREDICT

例如，当Estimator调用train()时，model_fn中的mode参数被设置为ModeKeys.TRAIN。
接下来针对不同的模式，编写不同的代码。

5.1 预测predict

当Estimator调用predict方法时，model_fn中的mode参数被设置为ModeKeys.PREDICT，这种情况下，model_fn返回一个rf.estimator.EstimatorSpec实例。用于预测的代码如下：

predicted_calsses = tf.argmax(logits, 1)
if mode == tf.estimator.ModeKeys.PREDICT:
    predictions = {
        "class_ids": predicted_classes[:, tf.newaxis],
        "probabilities": tf.nn.softmax(logits),
        "logits": logits,
    }
    return tf.estimator.EstimatorSpec(mode, predictions=predictions)

predictions存储的内容如下：

class_ids存储的时类别的ID(0, 1或2)，表示模型对此样本最有可能归属的类别ID的预测
probabilities存储的是各个类别下的概率
logit存储是各个类别的原始logits值

通过 tf.estimator.EstimatorSpec的 predictions 参数将该字典返回到调用程序。Estimator 的 predict方法会生成这些字典。

5.2 损失loss

对于训练和评估，我们需要计算模型的损失。loss是后续优化的目标。这里通过调用tf.losses.sparse_softmax_cross_entropy来计算损失，此函数会针对整个批次返回平均值。

loss = tf.losses.sparse_softmax_cross_entropy(labels=labels, logits=logits)

5.3 评估evaluate

当Estimator调用evaluate方法时，model_fn中的mode参数被设置为ModeKeys.EVAL，这种情况下，model_fn返回一个包含模型损失和一个或多个指标的rf.estimator.EstimatorSpec实例。
Tensorflow提供了tf.metrics模块来计算常用指标，这里只返回准确率。tf.metircs.accuracy函数会将较预测值与真实值进行比较。需要确保标签与预测具有相同的shape。

accuracy = tf.metircs.accuracy(
    labels = labels,
    predictions = predicted_classes,
    name="acc_op"
)

返回的EstimatorSpec实例包含如下内容：

loss：模型损失
eval_metric_ops：可选的指标以及对应指标值的字典
具体代码如下：

metrics = {"accuracy": accuracy}
tf.summary.scalar("accuracy", accuracy[1])

if mode == tf.estimator.ModeKeys.EVAL:
    return tf.estiamtor.EstimatorSpec(
        model, loss=loss, eval_metirc_ops=metircs)

其中，tf.summary.scalar会在TRAIN和EVAL模式下想TensorBoard提供相关数据。

5.4 训练train

当Estimator调用train方法时，model_fn中的mode参数被设置为ModeKeys.TRAIN，这种情况下，model_fn返回一个包含损失和训练operation的rf.estimator.EstimatorSpec实例。
构建训练指令需要指定优化器。这里使用tf.train.AdagradOptimizer。在tf.train总包含有很多其他优化器，可以尝试并使用它们。
构建优化器代码如下：

optimizer = tf.train.AdagradOptimizer(learning_rate=0.1)

接下来使用优化器的minimize方法来对loss进行优化。这里需要一个global_step参数，Tensorflow使用此参数来确定已经训练的次数，以便于程序确定在何时结束训练。在这里只需调用tf.train.get_blobal_step并将其传递给global_step参数即可。（tf.train.get_blobal_step应该是一个全局的训练次数计数器）。
训练模型的代码如下：

train_op = optimizer.minimize(loss, global_step=tf.train.get_global_step())

针对训练返回的EstimatorSpec必须设置如下字段：

loss：损失值
train_op：训练operation
模型训练返回代码：

return tf.estimator.EstimatorSpec(mode, loss=loss, train_op=train_op)

至此，自定义Estimator的编写就结束了。

6. 使用自定义Estimator

通过Estimator基类实例化自定义的Estimator，如下所示：

classifier = tf.estimator.Estimator(
    model_fn = my_model,
    params = {
        "feature_columns": my_feature_columns,
        "hidden_units": [10, 10],
        "n_classes": 3,
    }
)

然后使用自定义的Estimator实例对模型进行训练，如下所示：

classifier.train(
    input_fn=lambda:iris_data.train_input_fn(train_x, train_y, args.batch_size)
    steps=args.train_steps
)