最全分类！计算机视觉的图像标注类型及应用

2019 年 10 月 13 日 极市平台

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

来源：读芯术@微信公众号

全文共2534字，预计学习时长5分钟

计算机视觉的图像标注种类繁多，应用也不尽相同。

想知道各种标注技术的效果吗？一起来看看它们在计算机视觉方面的应用和独特的案例吧！

图像标注类型

在深入学习计算机视觉的图像标注用例前，首先要了解各类图像标注的方法。一起来剖析一下最常见的图像标注技术吧。

1. 边界框（Bounding Boxes）

边界框用途广泛且简单明了，是计算机视觉中最常用的图像标注类型之一。边界框圈出目标，并协助计算机视觉网络找出感兴趣的目标。它很好创建，只需要指定盒的左上角和右下角的X和Y坐标。

边界框几乎可以应用于任何目标，而且能大幅提升目标检测系统的准确度。

2. 多边形分割（Polygonal Segmentation）

多边形分割是另一种图像标注技术，也是边界框背后理论的扩展。它帮助计算机视觉系统寻找目标，而复杂的多边形比单纯的框更能精确地检测出目标的位置和边界。

和边界框相比，多边形分割可以切掉目标边缘的噪声/无用像素，避免迷惑分类器。

3. 线标注（Line Annotation）

线标注创建直线和曲线，主要用于描绘图像的各个部分。当需要标注并划分界限的部分太小或者太薄，边界框等方法无法描绘时，便可使用线标注。

直线和曲线很容易用来标注，常用于训练仓库机器人识别传送带上各部件的差异，或训练自动驾驶车辆识别车道。

4. 特征点标注（Landmark Annotation）

计算机视觉系统的第四种图像标注是特征点标注。因为它在图片上创建点，所以有时也被称为点标注。仅仅几个小点就能为图片中细小纷繁的目标归类。但特征点标注常常使用许多点来描绘目标的轮廓或框架。

特征点大小多样，大些的点有时会用来在区域中区分出重要/标志区域。

5. 三维长方体（3D Cuboids）

三维长方体是一种非常强大的图像标注，和边界框很像，都能帮助分类器找到目标。然而，三维长方体有长宽高三维成像。

锚点一般位于目标边缘，各点之间用线填充。目标以三维效果呈现，让计算机视觉系统在三维空间中学会区分体积和位置等特征。

6. 语义分割（Semantic Segmentation）

语义分割是一种将图像分割成不同区域的图像标注方法，它能将图像中的每个像素归类。

图片中语义/定义不同的区域彼此分割。比如，图片中一部分可能是“天空”，而另一部分可能是“草地”。语义分割的关键是，各区域由语义信息所定义，而图片分类器则为属于该区域的每个像素归类。

图像标注类型用例

1. 边界框标注

边界框在计算机视觉图像标注中用于帮助网络定位目标，协助创建定位并分类目标的模型。常见用途包括检查目标彼此冲突时的情况。

边界框和目标检测显然应用于自动驾驶系统中，定位道路中的车辆。另外还能用在建筑工地上为目标归类，分析工地安全，让机器识别出不同环境中的目标。

边界框用例：

利用无人机拍摄镜头监控建筑对象，由地基铺设起一直监控到建筑完工准备入住。

识别杂货店的食品及其他物品，自动监测结账流程。

检测车辆外部受损情况，以便在保险索赔时进行详细分析。

2. 多边形分割

多边形分割用众多复杂多边形标注目标，能够捕捉不规则形状的目标。在需要保证精确度时，多边形分割比包围盒更有效。因为多边形能勾勒物品轮廓，消除边界框中的噪声，提升模型的精确度。

多边形分割在自动驾驶中非常有用，能够突出标志和路标等不规则物体，还能比包围盒更精确地定位车辆。它还能用来精确标注众多不规则目标，如卫星和无人机所检测的对象。如需精确探测水生物，多边形分割也比边界框更好。

计算机视觉中的多边形分割经典用例：

标注城市景观中的不规则物体，如车辆、树木和水池。

多边形分割还能使目标检测更加简单。比如多边形标注工具Polygon-RNN和传统的不规则形状标注方法语义分割相比，在速度和精度上都有显著提高。

3. 线标注

线标注本身关注图像中的线条，所以最好用在外观重要特征为线型的目标中。

线标注常在自动驾驶中用来描绘车道。同样，线标注还能指导工业机器人放置对象，将目标区域指定为两线之间。边界框理论上讲也能用于这些目的，但线标注更加清晰，更能避免使用边界框时产生的噪声。

计算机视觉中的线标注经典用例，如自动检测每行作物，甚至还能跟踪昆虫的腿部位置。

4. 特征点标注

特征点/点标注用点表示目标，所以最主要的用法是检测并量化小型目标。比如，城市鸟瞰图需要用特征点检测来找到车辆、房屋、树木、水池等感兴趣的目标。

也就是说，特征点标注也有其他用法。将重点特征点结合起来便能创建目标轮廓，就像是连点拼图的游戏。这些点形成的轮廓能用来识别面部特征，或者分析人的动作或姿势。

计算机视觉的特征点标注常见用例：

面部识别，追踪多个特征点能轻松识别出面部表情和其他面部特征。

特征点标注还能用在生物学领域进行几何形态测量。

5. 三维长方体

当计算机视觉系统不止需要识别目标，还需要预测目标的大体形状和体积时，便需要三维长方体标注。该方法常用来为计算机视觉系统开发能够运动的自动系统，从而预测目标在其周围环境中的状况。

三维长方体标注在计算机视觉中的用例有，开发自动驾驶车辆和移动机器人的计算机视觉系统。

6. 语义分割

其实，语义分割大体上也是一种分类形式，只不过它是对区域中的每个像素进行分类，而不是对目标进行分类。想通了这点，语义分割就能轻松用于任何需要分类/识别的大型分散区域。

语义分割可用于自动驾驶中，车辆的人工智能须分辨出道路、草地和人行道的各个区域。

除了自动驾驶，计算机视觉的语义分割还能用于：

分析农田，检测杂草和特定的作物类型。

在诊断中识别医学图像，检测细胞，分析血流。

检测森林和雨林的毁坏和生态系统破坏，促进生态保护。

结语

只要选择正确的方法，计算机视觉便能实现所有的目标。在了解图像标注的众多种类和用例后，最好进行试验，付诸实践，从而掌握实际应用中的最佳方法。

-End-

*延伸阅读

CV细分方向交流群

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群，更有每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流，一起来让思想之光照的更远吧~