本文主要讲述在Colab和python3的环境中使用FastAI进行图像分类的经过。
Note: To use Google Colab with FastAI v1, We should specify the version of torch and fastai.
注意点:使用FastAI v1在安装时,需要指定以前的版本号,否则会出现一些不太好处理的小问题。
概要:FastAI是一个简便深度学习开源库。colab则是由google公司提供的免费代码作业本,类似jupyter notebook。使用这两个工具以及预训练的resnet34进行图像分类。
1.新建一个作业本(.ipynb文件)
菜单栏里面 【修改】->【笔记本设置】
如图选择Python3运行环境和GPU
2.初始化FastAI相关环境
复制以下代码到代码窗口中,并运行。
# http://pytorch.org/
from os.path import exists
from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag
platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())
cuda_output = !ldconfig -p|grep cudart.so|sed -e 's/.*\.\([0-9]*\)\.\([0-9]*\)$/cu\1\2/'
accelerator = cuda_output[0] if exists('/dev/nvidia0') else 'cpu'
!pip install torch==0.4.1
!pip install torchtext==0.2.3
import torch
print(torch.__version__)
print(torch.cuda.is_available())
print(torch.backends.cudnn.enabled)
#!pip install fastai
!pip install torchvision fastai==0.7
import fastai
from fastai import *
#from fastai.vision import *
Colab中,代码框中行首的“!”代表执行shell命令
3.导入程序使用的package
from matplotlib import pyplot as plt
# Put these at the top of every notebook, to get automatic reloading # and inline plotting
%reload_ext autoreload
%autoreload 2
%matplotlib inline
# This file contains all the main external libs we'll use
# from fastai.imports import *
from fastai.transforms import *
from fastai.conv_learner import *
from fastai.model import *
from fastai.dataset import *
from fastai.sgdr import *
from fastai.plots import *
4.下载dataset数据文件到工作环境中
!wget http://files.fast.ai/data/dogscats.zip
5.配置目录
PATH = "/content/dogscats/"
sz=224
colab中默认目录为/content
6.解压缩文件
!unzip dogscats.zip
7.检查文件
import os
!echo $PWD
files = os.listdir(f'{PATH}valid/cats')[:5]
files
如果文件解压成功则可以看到取到的图片,然后显示其中一张图片。
img = plt.imread(f'{PATH}valid/cats/{files[0]}')
plt.imshow(img)
如果一切ok,则可以看到一张猫咪的图片显示出来。
8.进行训练,并显示过程
arch=resnet34
data=ImageClassifierData.from_paths(PATH, tfms=tfms_from_model(arch,sz,aug_tfms=transforms_side_on, max_zoom=1.1))
learn=ConvLearner.pretrained(arch,data,precompute=True)
learn.fit(0.01,1)
一切顺利的话就可以看到训练的过程和训练的结果了。
这里要注意的就是,如果learn.fit发生了error。多半是由于前面的环境没有配置好,所安装的程序包版本不兼容。一种处理方法就是把learn.metrics=[]置空,这样做可以不报错,但是输出结果中的精确度accuracy将不能显示。所以教程样例的part1还是推荐安装torch0.4和fastai0.7,这样就可以有完整的输出信息了。
这里learn.fit()中的第二个参数是epoch
ConvLearner.pretrained中的precompute参数是预计算,也就是使用预训练的resnet34的参数进行微调,这种模式下数据增强参数aug_tfms将无效。
如果想用最新的FastAI v1.0来跑可以参看
Image classification with FastAI1.0.x, Colab and Python3(Dogs&Cats)
参考:
https://forums.fast.ai/t/google-colab-fastai-setup/27167
https://course.fast.ai/start_colab.html
https://www.kaggle.com/hortonhearsafoo/fast-ai-lesson-1
https://towardsdatascience.com/fast-ai-season-1-episode-2-1-e9cc80d81a9d