keras CNN入门(二)

本文为吴恩达教授的Tensorflow实践系列课程的学习记录。

完整代码：https://github.com/YvanYan/keras/tree/master/part2-cnn

本文内容
1.通过CNN处理猫狗二分类问题
2.图像增强
3.迁移学习
4.处理多分类问题

1.通过CNN处理猫狗二分类问题
猫狗分类问题和前面提到的人马问题是统一类型，都是二分类问题。在猫狗数据集中，已经分好了训练集和测试集，因此可以通过ImageDataGenerator直接构建。

train_datagen = ImageDataGenerator( rescale = 1.0/255. )
test_datagen  = ImageDataGenerator( rescale = 1.0/255. )

train_generator = train_datagen.flow_from_directory(train_dir,
                                                    batch_size=20,
                                                    class_mode='binary',
                                                    target_size=(150, 150)) 

validation_generator =  test_datagen.flow_from_directory(validation_dir,
                                                         batch_size=20,
                                                         class_mode  = 'binary',
                                                         target_size = (150, 150))

在训练的模型的时候，将训练集和测试集一起放入模型中，就可以得到训练的准确率和测试的准确率。这里需要注意一点，fit_generator参数中的steps_per_epoch是指每一轮中有多少个step，通常情况下：steps_per_epoch = 数据集尺寸 / batch_size 。比如猫狗问题的训练集为2000，batch_size为20，所以steps_per_epoch 为100。

history = model.fit_generator(train_generator,
                              validation_data=validation_generator,
                              steps_per_epoch=100,
                              epochs=100,
                              validation_steps=50,
                              verbose=1)

训练结果：

result.png

2.图像增强
通过上面的准确率结果可以看出，模型出现了过拟合的问题，即在训练集上表现出色，但在测试集的效果只有75%左右。这说明测试集中有一些图像，模型没有遇到过，因此需要一些手段来扩大训练集，从而使模型学习到更多的特征。
通过keras来进行一些图像增强的操作。

train_datagen = ImageDataGenerator(
      rescale = 1.0/255.,
      rotation_range=40,
      width_shift_range=0.2,
      height_shift_range=0.2,
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
      fill_mode='nearest')

rotation_range：使图像随机旋转，输入范围为（0，180）。
width_shift_range：随机水平平移图片。数值小于1时，为比例平移。大于1且为整数时，按像素平移。
height_shift_range：随机垂直平移图片。同上。
shear_range：随机修剪图片。
zoom_range：图片随机变焦。
horizontal_flip：图像随机水平旋转。
fill_mode：使用新像素填充图片，nearest使用最近的像素填充。

3.迁移学习
通过加载已经训练好的模型参数，来避免花费大量的时间训练。本次实践使用的是InceptionV3网络模型。
首先从keras库中导入InceptionV3，并实例化。

from tensorflow.keras.applications.inception_v3 import InceptionV3
pre_trained_model = InceptionV3(input_shape = (150, 150, 3), 
                                include_top = False, 
                                weights = None)

将InceptionV3网络的参数下载到本地，并加载到实例化了的网络模型中。

local_weights_file = '/tmp/inception_v3_weights_tf_dim_ordering_tf_kernels_notop.h5'
pre_trained_model.load_weights(local_weights_file)

已经训练好的模型，我们要将其“冻结”，冻结的意思是这些层将不再被训练，其参数将不会被改变。

for layer in pre_trained_model.layers:
  layer.trainable = False

得到InceptionV3模型后，只需要在该网络后面加上满足我们项目需求的一些层即可。

x = layers.Flatten()(last_output)
x = layers.Dense(1024, activation='relu')(x)
x = layers.Dropout(0.2)(x)  
x = layers.Dense  (1, activation='sigmoid')(x)

通过上一个章节的图像增强，我们可以提高准确率，因为训练集被扩大了，神经网络学习到了更多不同的图片。但图像增强依然不可避免过拟合的问题。为了解决过拟合问题，可以添加Dropout层，在隐藏层中，随机使一些神经元失活，参数为失活神经元的比例。

使用迁移学习可以很好的提高准确率，提升效率。因为网络模型是经过大量的不同类型图片训练好的，训练集比我们项目中的测试集要丰富的多，所以如果有合适的迁移学习模型，那么我们不必再重复“造轮子”了。

4.处理多分类问题
多分类问题和二分类问题本质上是一样的，但是在代码实现中，需要修改一些参数。

首先在构建神经网络的时候，最后的输出层，需要将激活函数改成softmax，以及神经元数据需要根据实际分类设定。

tf.keras.layers.Dense(3, activation='softmax')

然后在生成数据生成器时，也需要将class_mode改为多分类模型。

train_generator = training_datagen.flow_from_directory(
    TRAINING_DIR,
    target_size=(150,150),
    class_mode='categorical'
)

最后在网络模型编译时，损失函数也需要改变。

model.compile(loss = 'categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])