基于Keras的深度学习图像分类模型训练的完整工作步骤主要有：
- 图像需要被读取并解码为整数张量，然后转换为浮点数并归一化为小值（通常在 0 和 1 之间）。注意，png, jpg都是经过编码和压缩的图像文件。
- 图像一般存在在磁盘上，需要将磁盘上的图像数据读入内存，然后才能传入Keras模型。Keras模型接受三类输入：
- Numpy arrays, 大多数基于Python的机器学习库(例如，scikit-learn)都接受Numpy arrays作为输入
- TensorFlow Dataset对象，这是一种高性能的数据流对象
- Python生成器(generator)，按需能生成（yield）一个批次的数据
在开启模型训练前，需要把数据准备好。通常建议使用高性能的 Dataset 对象。Keras提供tf.keras.utils.image_dataset_from_directory函数，用于将磁盘中的图像数据读入内存，推理出标签，并转换为tensorflow dataset对象。可以指定batch和是否shuffle。
范例：假设图像文件按照类别在磁盘中存放在不同的文件夹中，如下所示：
main_directory/
...class_a/
......a_image_1.jpg
......a_image_2.jpg
...class_b/
......b_image_1.jpg
......b_image_2.jpg
则，读入图像数据的范例程序如下：
# Create a dataset.
dataset = keras.preprocessing.image_dataset_from_directory(
'path/to/main_directory', batch_size=64, image_size=(200, 200))
# For demonstration, iterate over the batches yielded by the dataset.
for data, labels in dataset:
print(data.shape) # (64, 200, 200, 3)
print(data.dtype) # float32
print(labels.shape) # (64,)
print(labels.dtype) # int32
将图像数据读入内存后，需要对图像数据做预处理，对于图像数据来说，主要是将数据从[0,255]归一化为[0,1]或者[-1,1]。通常，我们期望数据进入模型前：均值(mean)为0，方差(variance)为1。把图像预处理嵌入模型中，而不是在模型外产生作用，可以提高模型部署时的可移植性。
图像增强。若训练数据量不够，可以考虑对训练数据做图像增强操作。这个操作通常置于模型外，因为在使用模型做推理时，不需要图像增强操作。
用Keras 函数式API创建模型。Keras中的层(Layer)，指的是一个输入到输出的转换(A "layer" is a simple input-output transformation)。你需要定义模型的输入(Keras.Input)，中间的转换(多个隐藏层)，以及模型的输出，然后用Keras.Model()把模型的输入和输出组合起来。
使用model.summary()查看模型的详细信息
使用model.compile()为模型指定损失函数、优化方法和评价指标
使用model.fit()训练模型，即在训练数据集上拟合模型。
使用model.evaluate()评估模型，即在测试数据集上评估模型
使用predict()做预测
使用 KerasTuner，自动找出最好的超参数
下面给出一个完整的端到端的图像分类训练代码范例：
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
# 基于预训练模型EfficientNetB7的特征提取层，创建新的模型
# The default input image size for the model is 224x224
default_shape = (224,224,3)
base_model = tf.keras.applications.efficientnet.EfficientNetB7(
include_top=False,
weights="imagenet",
input_shape=default_shape
)
# 冻结该模型
base_model.trainable = False
# 载入训练和测试数据集
# 准备数据
TRAIN_DATASET_PATH = r"D:\nn_tf\cats_vs_dogs\train" #训练数据集路径
TEST_DATASET_PATH = r"D:\nn_tf\cats_vs_dogs\test" #测试数据集路径
num_classes = 2
batch_size = 32
image_size = default_shape[:2]
print("image_size:",image_size)
# 训练数据集
train_dataset = keras.preprocessing.image_dataset_from_directory(
TRAIN_DATASET_PATH,
validation_split=0.2,
image_size=image_size,
seed=1337,
subset='training',
batch_size=batch_size
)
# 验证数据集
val_dataset = keras.preprocessing.image_dataset_from_directory(
TRAIN_DATASET_PATH,
validation_split=0.2,
subset="validation",
seed=1337,
image_size=image_size,
batch_size=batch_size,
)
# 测试数据集
test_dataset = keras.preprocessing.image_dataset_from_directory(
TEST_DATASET_PATH,
image_size=image_size,
shuffle=False,
batch_size=batch_size
)
for image, label in train_dataset.take(1):
print(image.shape)
#将数据增强作用到训练数据集上
data_augmentation = tf.keras.Sequential([
layers.RandomFlip("horizontal_and_vertical"),
layers.RandomRotation(0.2),
])
train_dataset = train_dataset.map(lambda x, y: (data_augmentation(x, training=True), y))
train_dataset = train_dataset.prefetch(buffer_size=tf.data.AUTOTUNE)
for image, label in train_dataset.take(1):
print(image.shape)
# 添加efficientnet model的预处理层
efficientnet_preprocess = keras.applications.efficientnet.preprocess_input
# 创建带有预处理的新模型
inputs = keras.Input(shape=default_shape, name="image_input")
x = efficientnet_preprocess(inputs)
x = base_model(x, training=False)
x = keras.layers.GlobalAveragePooling2D()(x) #将特征值展平成向量
outputs = keras.layers.Dense(num_classes, name="precisions")(x)
model_with_prepocess = keras.Model(inputs, outputs, name="model_with_prepocess")
# 编译模型
model_with_prepocess.compile(optimizer=keras.optimizers.Adam(),
loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
metrics=['accuracy'])
# 训练模型
model_with_prepocess.fit(train_dataset, epochs=10, validation_data=val_dataset)
# 在测试数据集上测试模型
loss, acc = model_with_prepocess.evaluate(test_dataset)
print(f"Loss is {loss}; Accuracy is {acc} in Test Dataset")
