牛逼！将全景分割用到养猪场

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自：机器之心  |  参与：Racoon、张倩、Jamin

全景分割将实例分割与语义分割统一起来，自提出之后一直被用于分割街景等图像。但最近，有人把这项技术用到了养猪场。

许多研究表明，我们可以通过猪的日常行为来推断其健康状态，所以如何有效观察「猪」的行为显得极其重要，这可以保证我们在「必要时」采取迅速的干预行动，以保证猪的健康状态。

长时间观察动物的行为很难人工完成，因此通常情况下采取的方案是使用基于传感器的自动化系统。

自动识别系统的使用可以大大简化对猪的行为的研究，尤其是基于计算机视觉的系统。其优势在于，它们可以对目标进行有效的状态评估，同时也不会影响动物的正常行为。近年来，这一方向的研究已经引入了深度学习的方法，并表现出不错的效果。传统意义上的「目标」和「关键点」检测器已被用于检测单个动物。虽然效果良好，但是边界框以及稀疏关键点无法追踪动物的轮廓，从而会导致丢失许多有效信息。

因此，来自德国基尔大学和哥廷根大学的研究者开发了一套用在养猪场的全景分割系统。他们按照相对较新的定义进行猪的全景分割，目的在于对单个猪进行像素级的精确分割。为实现以上目的，他们提出了一种用于语义分割的神经网络框架，以及不同的网络主干（network heads）与后处理方法（postprocessing methods）。利用生成的实例分割蒙版，之后可以用来预测动物的大小或体重等信息。

该方法在带有 1000 个手工标记图像的数据集上进行了测试，尽管也存在遮挡物和镜头污染（dirty lenses）之类的干扰，但仍可达到约 95％的检测精度（F1 分数）。

论文链接：https://arxiv.org/pdf/2005.10499.pdf

方法

论文所提方法的目的是：使用安装在猪圈上方的摄像头采集图片，之后对图片中所有的猪进行全景分割。全景分割是语义分割与实例分割的结合，其中语义分割将背景与猪区分开来，实例分割用于区分不同个体的猪，如下图所示。

图 2：论文中不同分割实验的可视化效果图。

论文所提出的全景分割方法是对经典语义分割的扩展。分割任务被分为如下四个独立的实验，来逐渐增加其复杂度：

1. 二值分割

2. 语义分割

3. 结合二值分割与像素嵌入的精确像素级实例分割（pixel precise instance segmentation）

4. 像素嵌入与身体部位分割相结合的猪头朝向识别

以上所有实验均使用了相同的网络结构。仅对最后一层网络进行相应调整，以得到需要的输出。因此，论文所提框架能够适用于以上不同实验。整个分割框架如下图所示。

图 3：论文所提分割框架示意图。

实验

这项研究所使用的数据来自一家传统的仔猪养殖场。这里共安装了 5 个摄像头，每个摄像头覆盖两个 5.69 平方米的畜栏，每个畜栏最多有 13 头猪。这些猪 27 天大时入栏，在养殖场里待 40 天。该数据集涵盖养殖场四个月的数据。然后从所有可用视频中随机选取 1000 个分辨率为 1280x800 像素的帧，并进行人工标注。

在二值分割中，该网络预测特定像素的类别属于猪或背景的概率，预测准确率如下表 2 所示：

表 2：二值分割实验的准确率结果。

在类别分割任务中，将猪的类别内核设置为椭圆大小的 50%（见图 8c）。下表 3 展示了实验结果：

表 3：类别分割和组合分割中对提取椭圆的检测结果。

对于猪头朝向的识别，该研究使用了与以前相同的组合网络，区别在于用身体部位分割替换了之前的二值分割。实验结果见下表 4：

表 4：猪头朝向的识别结果。该网络可以正确识别 94％的猪头朝向（真阳性）。

图 8：不同实验对示例图像的处理结果。

AI 养猪，到底靠不靠谱？

众所周知，AI 养猪并不是一个刚刚兴起的概念，早在两三年前就已经被炒得很火，阿里、京东等巨头也纷纷入场。但在这场热潮背后，业内外人士纷纷质疑：AI 养猪，到底靠不靠谱？

大家质疑的点主要在于，首先，在养猪行业加入 AI 到底有没有解决养猪的痛点？从目前的进展来看，阿里、京东以及上文介绍的论文作者都聚焦于用成熟的计算机视觉等技术来改善传统养猪行业的某个流程。但有人指出，他们所解决的可能并不是根本问题，而与该行业成本息息相关的饲料成本、生物成本、固定资产成本等问题其实跟 AI 关系不大。因此，AI 只是起到了一个锦上添花「可有可无」的作用。

选自知乎用户 @Long 的回答。

选自知乎用户 @ 付光栋（华中农业大学农业推广硕士）的回答。

其次，有位养猪设备从业者指出，目前，很多猪场都还没有完成信息化的过程，也没有大数据的积累，因此要想一步跨入人工智能可能有点困难。因此，要实现真正的人工智能养猪，首先需要解决猪场的信息化建设问题，把猪场的猪、物、人都纳入到信息化管理中，养猪数据才会逐步积累起来。

当然，AI 养猪也有其自身的优势，如减少人力的使用以及人与猪的接触。前者在 AI 技术成本降低之后有助于减少养猪的总人力成本，而后者有助于改善养猪从业者的工作环境并降低疾病传染风险。

而且，AI 养猪或许还可以为程序员提供一个新的就业方向：

选自知乎用户 @ 王忻（动物遗传育种与繁殖博士）的回答。

参考链接：https://www.zhihu.com/question/266824590

论文下载

在CVer公众号后台回复：猪猪，即可下载本论文

重磅！CVer-图像分割 微信交流群已成立

扫码添加CVer助手，可申请加入CVer-图像分割 微信交流群，目前已汇集1300人！涵盖语义分割、实例分割和全景分割等。互相交流，一起进步！

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、TensorFlow和PyTorch等群。

一定要备注：研究方向+地点+学校/公司+昵称（如图像分割+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲长按加群

▲长按关注我们
请给CVer一个在看！