tensorflow-Sequential、compile、fi

1. tf.keras.models.Sequential([网络结构]) # 描述各层网络

Sequentail()可以认为是个容器，这个容器里封装了一个神经网络结构。在Sequential中要描述从输入层到输出层每一层的网络结构。
每一层的网络结构可以是

• 拉直层： tf.keras.layers.Flatten() ，这一层不含计算，只是形状转换，把输入特征拉直，变成一维数组
• 全连接层： tf.keras.layers.Dense(神经元个数，activation=“激活函数”，kernel_regularizer=哪种正则化), 这一层告知神经元个数、使用什么激活函数、采用什么正则化方法
  • 激活函数可以选择relu, softmax, sigmoid, tanh等
  • 正则化可以选择 tf.keras.regularizers.l1(), tf.keras.relularizers.l2()
• 卷积神经网络层：tf.keras.layers.Conv2D(filters=卷积核个数, kernel_size=卷积核尺寸, strides=卷积步长， padding="valid" or "same")
• 循环神经网络层：tf.keras.layers.LSTM()

2. model.compile(optimizer=优化器，loss=损失函数，metrics=["准确率"])

在这里告知训练时选择的优化器、损失函数、和评测指标。
这些参数都可以使用字符串形式或函数形式

• optimizer: 引导神经网络更新参数
  • sgd or tf.keras.optimizer.SGD(lr=学习率，momentum=动量参数)
  • adagrad or tf.keras.optimizer.Adagrad(lr=学习率)
  • adadelta or tf.keras.optimizer.Adadelta(lr=学习率)
  • adam or tf.keras.optimizer.Adam(lr=学习率， beta_1=0.9, beta_2=0.999)
• loss: 损失函数
  • mes or tf.keras.losses.MeanSquaredError()
  • sparse_categorical_crossentropy or tf.keras.SparseCategoricalCrossentropy(from_logits=False)（是原始输出还是经过概率分布）
• metrics：评测指标
  • accuracy：y_ 和 y 都是数值，如y_=[1] y=[1]
  • categorical_accuracy: y_和y都是独热码（概率分布），如y_=[0, 1, 0], y=[0.256, 0.695, 0.048]
  • sparse_categorical_accuracy: y_是数值，y是独热码（概率分布）,如y_=[1], y=[0.256, 0.695, 0.048]

3. model.fit(训练集的输入特征，训练集的标签，batch_size= 每次喂入神经网络的样本数, epochs=迭代多少次数据集, validation_data=(测试集的输入特征，测试集的标签，), validation_split=从训练集划分多少比例给测试集，validation_freq=多少次epoch测试一次)

4. model.summary()

打印出网络的结构和参数统计

5. 示例：鸢尾花分类

import tensorflow as tf
from sklearn import datasets
import numpy as np

# 载入数据（训练集和测试集在训练时按比例划分，此处暂无划分）
x_train = datasets.load_iris().data
y_train = datasets.load_iris().target

# 用相同的随机种子让特征集和标签集乱序并一一对应
np.random.seed(123)
np.random.shuffle(x_train)
np.random.seed(123)
np.random.shuffle(y_train)

# 搭建神经网络结构：3个神经元的全连接层，采用softmax激活函数，
# l2正则化防治过拟合
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(3, activation='softmax', 
                          kernel_regularizer=tf.keras.regularizers.l2())
])
"""
# class写法
from tensorflow.keras import Model
from tensorflow.keras.layers import Dense


class IrisModel(Model):
    def __init__(self):
        super(IrisModel, self).__init__()
        self.d1 = Dense(3, activation='softmax',
                          kernel_regularizer=tf.keras.regularizers.l2())
    
    def call(self, x):
        y = self.d1(x)
        return y

model = IrisModel()
"""
# 配置训练方法：采用SGD优化器，SparseCategoricalCrossentropy损失函数（由于采
# 用了softmax作为激活函数，输出的是概率而不是原始分布，所以from_logits
# 为False）, sparse_categorical_accuracy作为评测指标（由于鸢尾花标签
# 为[0, 1, 2], 而网络结构输出的为概率分布）
model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1),
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=["sparse_categorical_accuracy"])

# 训练模型：将20%的数据用于测试，每次喂入32组数据，数据集循环
# 迭代500次，每迭代20次训练集要在测试集中验证一次准确率
model.fit(x_train, y_train, batch_size=32, epochs=500, 
          validation_split=0.2, validation_freq=20)

# 打印出网络结构和参数统计
model.summary()

运行结果：

Epoch 498/500
4/4 [==============================] - 0s 0s/step - loss: 0.3155 - sparse_categorical_accuracy: 0.9833
Epoch 499/500
1/4 [======>.......................] - ETA: 0s - loss: 0.2978 - sparse_categorical_accuracy: 1.0000
4/4 [==============================] - 0s 2ms/step - loss: 0.3251 - sparse_categorical_accuracy: 0.9750
Epoch 500/500
1/4 [======>.......................] - ETA: 0s - loss: 0.3148 - sparse_categorical_accuracy: 0.9688
4/4 [==============================] - 0s 10ms/step - loss: 0.3210 - sparse_categorical_accuracy: 0.9833 - val_loss: 0.4276 - val_sparse_categorical_accuracy: 0.9000
Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
dense (Dense)                multiple                  15        
=================================================================
Total params: 15
Trainable params: 15
Non-trainable params: 0
_________________________________________________________________