【CVPR2020】强化特征点，Reinforced Feature Points: Optimizing Feature Detection and Description for a High-Level Task

题目： Reinforced Feature Points: Optimizing Feature Detection and Description for a High-Level Task

摘要： 我们解决了计算机视觉的一个核心问题:图像匹配的二维特征点的检测和描述。在很长一段时间里，手工制作的设计，比如SIFT筛选算法，在准确性和效率上都是无与伦比的。近年来出现了利用神经网络实现检测和描述的学习型特征检测器。训练这些网络通常采用优化低的匹配分数的方法，通常预先定义一组图像补丁，哪些应该匹配，哪些不应该匹配，哪些不应该包含关键点。然而，提高这些低的匹配分数的准确性并不一定意味着在难度大的视觉任务中有更好的表现。我们提出了一种新的训练方法，该方法将特征检测器嵌入到完整的视觉管道中，并以端到端的方式对可学习参数进行训练。我们利用强化学习的原理克服了关键点选择和描述符匹配的离散性。作为一个例子，我们解决了一对图像之间的相对姿态估计问题。我们证明了一个基于状态学习的特征检测器的准确性可以在测试时通过训练来完成它应该解决的任务。我们的训练方法对学习任务几乎没有限制，适用于任何能够预测关键点热图和关键点位置描述符的体系结构。