NeurIPS 2021 | 又一超强视觉Transformer主干！HRFormer：学习高分辨率表征

本文提出了一种高分辨率Transformer(HRT)，它可以通过学习高分辨率表征来完成密集的预测任务，而原来的Vision Transformer学习的则是低分辨率表征，同时具有很高的内存和计算成本。

作者在高分辨率卷积网络(HRNet)中分别引入的多分辨率并行设计，以及local-window self-attention，在小的非重叠图像窗口上执行self-attention，以提高内存和计算效率。此外，在FFN中引入了卷积操作，以在断开的图像窗口之间交换信息。

作者实验证明了HRT在人体姿态估计和语义分割任务中的有效性，HRT在COCO姿态估计上比Swin Transformer少了50%的参数和30%的FLOPs，精度比Swin Transformer高出1.3%AP。