会员服务

图像分类入门 1-图像分类的概念

PZM

背景与意义

  所谓图像分类问题，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。虽然看起来挺简单的，但这可是计算机视觉领域的核心问题之一，并且有着各种各样的实际应用。在后面的课程中，我们可以看到计算机视觉领域中很多看似不同的问题（比如物体检测和分割），都可以被归结为图像分类问题。

一个简单的例子

  以下图为例，图像分类模型读取该图片，并生成该图片属于集合 {cat, dog, hat, mug}中各个标签的概率。需要注意的是，对于计算机来说，图像是一个由数字组成的巨大的3维数组。在这个例子中，猫的图像大小是宽248像素，高400像素，有3个颜色通道，分别是红、绿和蓝（简称RGB）。如此，该图像就包含了248X400X3=297600个数字，每个数字都是在范围0-255之间的整型，其中0表示全黑，255表示全白。我们的任务就是把这些上百万的数字变成一个简单的标签，比如“猫”。

图片

图像分类的任务，就是对于一个给定的图像，预测它属于的那个分类标签（或者给出属于一系列不同标签的可能性）。图像是3维数组，数组元素是取值范围从0到255的整数。数组的尺寸是宽度x高度x3，其中这个3代表的是红、绿和蓝3个颜色通道。

分类的种类

  图像分类包括通用图像分类、细粒度图像分类等。图1展示了通用图像分类效果，即模型可以正确识别图像上的主要物体。

图片

图1. 通用图像分类

图2展示了细粒度图像分类-花卉识别的效果，要求模型可以正确识别花的类别。 图片

图2. 细粒度图像分类展示

分类的难点

  对于人来说，识别出一个像“猫”一样视觉概念是简单至极的，然而从计算机视觉算法的角度来看就值得深思了。我们在下面列举了计算机视觉算法在图像识别方面遇到的一些难点，要记住图像是以3维数组来表示的，数组中的元素是亮度值。

  • 视角变化（Viewpoint variation）：同一个物体，摄像机可以从多个角度来展现。
  • 大小变化（Scale variation）：物体可视的大小通常是会变化的（不仅是在图片中，在真实世界中大小也是变化的）。
  • 形变（Deformation）：很多东西的形状并非一成不变，会有很大变化。
  • 遮挡（Occlusion）：目标物体可能被挡住。有时候只有物体的一小部分（可以小到几个像素）是可见的。
  • 光照条件（Illumination conditions）：在像素层面上，光照的影响非常大。
  • 背景干扰（Background clutter）：物体可能混入背景之中，使之难以被辨认。
  • 类内差异（Intra-class variation）：一类物体的个体之间的外形差异很大，比如椅子。这一类物体有许多不同的对象，每个都有自己的外形。

图片

面对以上所有变化及其组合，好的图像分类模型能够在维持分类结论稳定的同时，保持对类间差异足够敏感。

常用的图像数据集

  数据是视觉识别研究中最重要的因素之一，通 常我们更多关注于模型、算法本身，事实上，数据在 视觉任务中的作用越来越明显．大数据时代的到来， 也使得研究人员开始更加重视数据．在数据足够多 的情况下，我们甚至可以使用最简单的模型、算法， 比如最近邻分类、朴素贝叶斯分类器都能得到很好 的效果．鉴于数据对算法的重要性，我们将在本节对 视觉研究中物体分类与检测方面的主流数据集进行概 述。

图片

MNIST 数据集

  早期物体分类研究集中于一些较为简单的特定 任务，如OCR、形状分类等．OCR中数字手写识别 是一个得到广泛研究的课题，相关数据库中最著名 的是MNIST数据库．MNIST是一个数字手写识 别领域的标准评测数据集，数据库大小是60000,一 共包含10类阿拉伯数字，每类提供5000张图像进 行训练，1000张进行测试．MNIST的图像大小为 28×28，即784维，所有图像为手写数字，存在较大 的形变.

CIFAR 数据集

  CIFAR-10和CIFAR-100数据库是Tiny images的两个子集，分别包含了10类和100类物 体类别．这两个数据库的图像尺寸都是32×32，而 且是彩色图像．CIFAR-10包含6万的图像，其中 5万用于模型训练，1万用于测试，每一类物体有 5000张图像用于训练，1000张图像用于测试． CIFAR-100与CIFAR-10组成类似，不同的是包含 了更多的类别：20个大类，大类又细分为100个小 类别，每类包含600张图像．CIFAR-10和CIFAR-100数据库尺寸较小，但是数据规模相对较大，非常 适合复杂模型特别是深度学习模型训练，因而成为 深度学习领域主流的物体识别评测数据集．

Caltech 数据集

  Caltech-101是第一个规模较大的一般物体识 别标准数据库，除背景类别外，它一共包含了101类 物体，共9146张图像，每类中图像数目从40到800 不等，图像尺寸也达到300左右．Caltech-101是以 物体为中心构建的数据库，每张图像基本只包含一 个物体实例，且居于图像中间位置．物体尺寸相对图 像尺寸比例较大，且变化相对实际场景来说不大，比 较容易识别．Caltech-101每类的图像数目差别较 大，有些类别只有很少的训练图像，也约束了可以使 用的训练集大小．Caltech-256与类Caltech-101类 似，区别是物体类别从101类增加到了256类，每类 包含至少80张图像．图像类别的增加，也使得 Caltech-256上的识别任务更加困难，使其成为检 验算法性能与扩展性的新基准。

15 Scenes 数据集

  15 Scenes是由Lazebnik等人在Li等人的13 Scenes数据库的基础上加入了两个新的场景构成的，一共有15个 自然场景，4485张图像，每类大概包含200～400张 图像，图像分辨率约为300×250．15 Scenes数据库 主要用于场景分类评测，由于物体分类与场景分类 在模型与算法上差别不大，该数据库也在图像分类 问题上得到广泛的使用

PASCAL VOC 数据集

  PASCAL VOC从2005年到2012年每年都发布关于分类、检测、分割等任务的数据库，并在相应数据库上举行了算法竞赛，极大地推动了视觉研究的发展进步．最初2005年PASCAL VOC数据库只包含人、自行车、摩托车、汽车共4类，2006年类别数目增加到10类，2007年开始类别数目固定为20类，以后每年只增加部分样本．PACAL VOC数据库中物体类别均为日常生活中常见的物体，如交通工具、室内家具、人、动物等．PASCAL VOC数据库共包含9963张图片，图片来源包括filker等互联网站点以及其他数据库，每类大概包含96～2008张图像，均为一般尺寸的自然图像．PASCAL VOC数据库与Caltech-101相比，虽然类别数更少，但由于图像中物体变化极大，每张图像可能包含多个不同类别物体实例，且物体尺度变化很大，因而分类与检测难度都非常大．该数据库的提出，对物体分类与检测的算法提出了极大的挑战，也催生了大批优秀的理论与算法，将物体识别的研究推向了一个新的高度.

ImageNet 数据集

  随着分类与检测算法的进步，很多算法在以上 提到的相关数据库上性能都接近饱和，同时随着大 数据时代的到来、硬件技术的发展，也使得在更大规 模的数据库上进行研究和评测成为必然．ImageNet是由Li主持构建的大规模图像数据库，图像类别按照WordNet构建，全库截止2013年共有1400万张图像，2.2万个类别，平均每类包含1000张图像．这是目前视觉识别领域最大的有标注的自然图像分辨率的数据集，尽管图像本身基本还是以目标为中心构建的，但是海量的数据和海量的图像类别，使得该数据库上的分类任务依然极具挑战性．除此 之外，ImageNet还构建了一个包含1000类物体 120万图像的子集，并以此作为ImageNet大尺度视 觉识别竞赛的数据平台，也逐渐成为物体分类算法 评测的标准数据集．

SUN数据集

  SUN数据库的构建是希望给研究人员提供一个覆盖较大场景、位置、人物变化的数据库，库中的场景名是从WordNet中的所有场景名称中得来的．SUN数据库包含两个评测集，一个是场景识别数据集，称为SUN-397，共包含397类场景，每类至少包含100张图片，总共有108754张图像．另一个评测集为物体检测数据集，称为SUN2012，包含16873张图像。

Tiny images 数据集

  Tiny images是一个图像规模更大的数据库， 共包含7900万张32×32图像，图像类别数目有 7.5万，尽管图像分辨率较低，但还是具有较高的区分度，而其绝无仅有的数据规模，使其成为大规模分 类、检索算法的研究基础．

  我们也可以发现，物体类别越多，导致类间差越小，分类与检测任务越困难，图像数目、图像尺寸的大小，则直接对算法的可扩展性提出了更高的要求， 如何在有限时间内高效地处理海量数据、进行准确 的目标分类与检测成为当前研究的热点．

展开全文
Top
微信扫码咨询专知VIP会员
Top