Top-5 分类错误率
平常我们在看一些深度学习图像分类的文献资料的时候,经常提到ImageNet Top-5 错误率降到了5%。它是什么意思呢?
ImageNet 项目
首先先说一下ImageNet 项目吧!
ImageNet 项目是一个用于物体对象识别检索大型视觉数据库。截止2016年,ImageNet 已经对超过一千万个图像的url进行手动注释,标记图像的类别。在至少一百万张图像中还提供了边界框。自2010年以来,ImageNet 举办一年一度的软件竞赛,叫做** ImageNet 大尺度视觉识别挑战(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)。主要内容是通过算法程序实现正确分类和探测识别物体与场景,评价标准就是Top-5 错误率**。
Top-5 错误率
ILSRVRC(ImageNet 图像分类大赛) 比赛设置如下:
1000类图像分类问题,训练数据集126万张图像,验证集5万张,测试集10万张(标注未公布)。
评价标准采用 top-5 错误率——即对一张图像预测5个类别,只要有一个和人工标注类别相同就算对,否则算错。
近几年ILSRVRC 比赛结果如下表所示:
结果公布时间 | 机构top-5错误率(%) | 模型数 | 方法 |
---|---|---|---|
2015.2.11 | 4.82 | http://arxiv-web3.library.cornell.edu/abs/1502.03167 | |
2015.2.6 | MSRA | 4.94 | http://arxiv.org/abs/1502.01852 |
2015.2.6 | Baidu | 5.33 | http://arxiv.org/abs/1501.02876 |
2015.1.13 | Baidu | 5.98 | —— |
2014.8.18 | 6.66 | http://arxiv.org/abs/1409.4842 | |
2014.8.18 | Oxford | 7.33 | http://arxiv.org/abs/1409.1556 |
2013.11.14 | NYU | 11.7 | http://arxiv.org/abs/1311.2901 |
2012.10.13 | U.Toronto | 16.4 | http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf |