文本分类

==刚刚看到这个课题的时候，刚觉很难，但是实际上有一个通用的轮子之后就很好处理了,这个轮子就是预处理模型==

一、预处理模型

实际上就是将现实生活中的东西进行量化处理。

包括这次要处理的文本分类，实际上也是建立在文本预处理模型的基础上,提供了一层将文本量化的操作，有如下的优点:

• 不必关注文本处理
• 从迁移学习中受益
• 输出具有固定长度，容易数据处理

1.模型的加载和设置

embedding = "https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1"
hub_layer = hub.KerasLayer(embedding, input_shape=[], dtype=tf.string, trainable=True)

• default 指明模型的路径，本地路径或者网络路径都可以
• input_shape 指明模型的输入形状
• output_shape 指明输出形状， 默认[20] ，输出的就是[batch, 20] 和输入的batch也有关系
• dtype 指明模型的输入数据类型
• trainable 指明是否一起参与训练

二、数据集合

这是google提供的用于学习的数据集合，使的我们可以关注模型，而不是忙于采集数据

• tensorflow_datasets
• tensorflow.keras.database

1.数据加载

train_data, test_data = tensorflow_datasets.load(name="imdb_reviews")

其实重点就是指明数据集的名称，返回的数据包含两个部分，训练数据train_data , 测试数据 test_data

2.数据分割

train_data_split = tesorflow_datasets.Split.TRAIN.subsplit([6,4])
(train_data, validation_data), test_data =S tensorflow_datasets.load(
                            name="imdb_reviews", split=(train_data_split, tensorflow_datasets.Split.TEST)
                            );

重点就是创建一个分割的 train_data_split变量，分割比例 6:4, 分成train_data(训练数据集)和validation_data(验证数据集),这个只是指定train_data 是如何分割，test_data 不用分割直接指定tensorflow_datasets.Split.TEST。

3.数据格式

train_validation_split = tfds.Split.TRAIN.subsplit([6, 4])
(train_data, validation_data), test_data = tfds.load(
    name="imdb_reviews",
    split=(train_validation_split, tfds.Split.TEST),
    as_supervised=True
)

关注一下， ==as_supervised==字段，指明输出的格式是 ==输入数据 + 标签== 的格式。

比如: train_data中就包含(输入数据， 标签)的格式。

4.数据打乱

model.fit(train_data.shuffle(10000).batch(512), epochs=20, validation_data= validation_data.batch(512), verbose=1)

在使用数据中调用了 shuffle方法随机打乱数据，参数1000 指的是打乱前1000条数据

三、完整的案例

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# Time : 2020/4/9 11:00 上午
# Author : Dale Chen
# Description: 
# File : imdb.py

import numpy as np
import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

train_validation_split = tfds.Split.TRAIN.subsplit([6, 4])
(train_data, validation_data), test_data = tfds.load(
    name="imdb_reviews",
    split=(train_validation_split, tfds.Split.TEST),
    as_supervised=True
)

train_example_batch, train_labels_batch = next(iter(train_data.batch(10)))

embedding = "https://tfhub.dev/google/tf2-preview/gnews-swivel-20dim/1"
hub_layer = hub.KerasLayer(embedding, dtype=tf.string, trainable=True)

model = tf.keras.Sequential()
model.add(hub_layer)
model.add(tf.keras.layers.Dense(16, activation=tf.keras.activations.relu))
model.add(tf.keras.layers.Dense(1, activation=tf.keras.activations.sigmoid))

model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.BinaryCrossentropy(), metrics=[tf.keras.metrics.Accuracy()])
model.fit(train_data.shuffle(10000).batch(512), epochs=20, validation_data= validation_data.batch(512), verbose=1)

results = model.evaluate(test_data.batch(512), verbose=2)
for name, value in zip(model.metrics_names, results):
    print("%s : %.3f" % (name, value))

1. 激活函数的选择

model.add(tf.keras.layers.Dense(16, activation='relu'))

中间层的选择任然是常用的 relu 类型

model.add(tf.keras.layers.Dense(1, activation=tf.keras.activations.sigmoid))

输出层选用的是一个 sigmoid 激活函数，这个函数的的效果就是将输出值控制在 0 - 1 之间。

image

2.损失函数

这个是一个二元(Binary)或者二分类，采用的损失函数也是需要针对二分类的BinaryCrossentropy

model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.BinaryCrossentropy(), metrics=[tf.keras.metrics.Accuracy()])