病理图像的全景分割

会员服务 ·

病理图像的全景分割

2019 年 6 月 1 日 人工智能前沿讲习班

论文题目：Panoptic Segmentation with an End-to-End Cell R-CNN for Pathology Image Analysis

论文地址：https://link.springer.com/chapter/10.1007/978-3-030-00934-2_27

前言

各种癌细胞的形态线索对于病理学家确定癌症的分期是至关重要的，为了获得定量的形态学信息，作者提出了一种用于病理图像全光分割的端到端网络，集目标检测、定位、和像素集的分割于一体，通过优化六个loss来达到最终的效果。

语义分割：将所有的目标分割成一种颜色，不能够产生单独的目标的分割掩码。

实例分割：为每个对象生成唯一的id，但它仅依赖于细胞内材料的图像特征

全光分割：不仅产生了实例细胞掩膜，而且充分利用了细胞间和细胞内材料之间潜在的信息关系

该框架的主要思想是实现语义分割和实例分割的统一。

网络架构

网络提出的主要思想是实现语义分割和实例分割的结合。

语义分割分支和特征图分支

语义分割分支：GCN（ global convolutional network）具有较高的效率和全局接收域，所以作者选择做我语义分割分支。GCB的卷积核采用的是1*k+K*1和k*1+1*k来代替k*k确保有足够的接受域，GCB被设计是为了减小参数。BR包含一个conv+relu+conv块，以及一个残差设计x=F(x)+x，BR旨在取代不可训练的条件随机场或其他后处理技术，简单来说，一切都是可以学习的。ResNet的参数不仅共享于语义分割分支还共享于特征图分支。

特征图分支：目的是在RPN和实力分支之间共享特征（P2,P3,P4,P5,P6）,在残差网络后的特征图分支后的一级和二级的卷积核是1*1和3*3。

Region Proposal Network(RPN)和Instance Branch

RPN的输入是P2,P3,P4,P5,P6,输出是带有分数显示是否成为对象的可能性的包围框提案。矩形边框最初是由滑动窗口策略生成的，在每个采样点产生不同的比例和尺寸的矩形框。每个边框都被分配一个分数和边框参数。

其中x、y、w、h为中心采样点坐标，为预测边界框的宽度和高度(ROIs)，同样，x a、y a、w a、h a表示矩形框的相应变量，其他的变量是金标准。

输出进一步被提取提案层提取。矩形框按分数降序排列。然后应用box delta细化，非max抑制会移除相互之间具有强重叠的细化边框候选，对于矩形框形和分数损失的优化，只有正锚对损失计算有贡献。为了成功训练RPN，正锚与负锚的比例保持在一定范围内。

实例分支包含实例定位和鉴别分支以及实例掩码分支。实例定位和鉴别分支进一步的改进边框的位置和评估每个物体的可能性（是前景还是背景）。（The pyramid ROI）金字塔式感兴趣区域归一层根据感兴趣区域的大小选择相应的feature map层次。在这里，我们不使用特定于类的损失，而是使用前景-背景损失。这个特殊的设计试图使用相同的网络从不同的类中分割单元格。