Image classification with FastAI0.7, Colab and Python3(Dogs&Cats)

本文主要讲述在Colab和python3的环境中使用FastAI进行图像分类的经过。

Note: To use Google Colab with FastAI v1, We should specify the version of torch and fastai.

注意点:使用FastAI v1在安装时,需要指定以前的版本号,否则会出现一些不太好处理的小问题。

概要:FastAI是一个简便深度学习开源库。colab则是由google公司提供的免费代码作业本,类似jupyter notebook。使用这两个工具以及预训练的resnet34进行图像分类。

1.新建一个作业本(.ipynb文件)

菜单栏里面 【修改】->【笔记本设置】

如图选择Python3运行环境和GPU

2.初始化FastAI相关环境

复制以下代码到代码窗口中,并运行。


# http://pytorch.org/

from os.path import exists

from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag

platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())

cuda_output = !ldconfig -p|grep cudart.so|sed -e 's/.*\.\([0-9]*\)\.\([0-9]*\)$/cu\1\2/'

accelerator = cuda_output[0] if exists('/dev/nvidia0') else 'cpu'

!pip install torch==0.4.1

!pip install torchtext==0.2.3

import torch

print(torch.__version__)

print(torch.cuda.is_available())

print(torch.backends.cudnn.enabled)

#!pip install fastai

!pip install torchvision fastai==0.7

import fastai

from fastai import *

#from fastai.vision import *

Colab中,代码框中行首的“!”代表执行shell命令

3.导入程序使用的package


from matplotlib import pyplot as plt

# Put these at the top of every notebook, to get automatic reloading # and inline plotting

%reload_ext autoreload

%autoreload 2

%matplotlib inline

# This file contains all the main external libs we'll use

# from fastai.imports import *

from fastai.transforms import *

from fastai.conv_learner import *

from fastai.model import *

from fastai.dataset import *

from fastai.sgdr import *

from fastai.plots import *

4.下载dataset数据文件到工作环境中


!wget http://files.fast.ai/data/dogscats.zip

5.配置目录


PATH = "/content/dogscats/"

sz=224

colab中默认目录为/content

6.解压缩文件


!unzip dogscats.zip

7.检查文件


import os

!echo $PWD

files = os.listdir(f'{PATH}valid/cats')[:5]

files

如果文件解压成功则可以看到取到的图片,然后显示其中一张图片。


img = plt.imread(f'{PATH}valid/cats/{files[0]}')

plt.imshow(img)

如果一切ok,则可以看到一张猫咪的图片显示出来。

8.进行训练,并显示过程


arch=resnet34

data=ImageClassifierData.from_paths(PATH, tfms=tfms_from_model(arch,sz,aug_tfms=transforms_side_on, max_zoom=1.1))

learn=ConvLearner.pretrained(arch,data,precompute=True)

learn.fit(0.01,1)

一切顺利的话就可以看到训练的过程和训练的结果了。

这里要注意的就是,如果learn.fit发生了error。多半是由于前面的环境没有配置好,所安装的程序包版本不兼容。一种处理方法就是把learn.metrics=[]置空,这样做可以不报错,但是输出结果中的精确度accuracy将不能显示。所以教程样例的part1还是推荐安装torch0.4和fastai0.7,这样就可以有完整的输出信息了。

这里learn.fit()中的第二个参数是epoch

ConvLearner.pretrained中的precompute参数是预计算,也就是使用预训练的resnet34的参数进行微调,这种模式下数据增强参数aug_tfms将无效。

如果想用最新的FastAI v1.0来跑可以参看
Image classification with FastAI1.0.x, Colab and Python3(Dogs&Cats)

参考:

https://forums.fast.ai/t/google-colab-fastai-setup/27167
https://course.fast.ai/start_colab.html
https://www.kaggle.com/hortonhearsafoo/fast-ai-lesson-1
https://towardsdatascience.com/fast-ai-season-1-episode-2-1-e9cc80d81a9d

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容