The wide-angle lens shows appealing applications in VR technologies, but it introduces severe radial distortion into its captured image. To recover the realistic scene, previous works devote to rectifying the content of the wide-angle image. However, such a rectification solution inevitably distorts the image boundary, which potentially changes related geometric distributions and misleads the current vision perception models. In this work, we explore constructing a win-win representation on both content and boundary by contributing a new learning model, i.e., Rectangling Rectification Network (RecRecNet). In particular, we propose a thin-plate spline (TPS) module to formulate the non-linear and non-rigid transformation for rectangling images. By learning the control points on the rectified image, our model can flexibly warp the source structure to the target domain and achieves an end-to-end unsupervised deformation. To relieve the complexity of structure approximation, we then inspire our RecRecNet to learn the gradual deformation rules with a DoF (Degree of Freedom)-based curriculum learning. By increasing the DoF in each curriculum stage, namely, from similarity transformation (4-DoF) to homography transformation (8-DoF), the network is capable of investigating more detailed deformations, offering fast convergence on the final rectangling task. Experiments show the superiority of our solution over the compared methods on both quantitative and qualitative evaluations. The code and dataset will be made available.
翻译:宽角透镜显示了 VR 技术的吸引力应用, 但是它在其捕获的图像中引入了严重的辐射扭曲。 为了恢复现实的场景, 先前的工程致力于纠正广角图像的内容。 但是, 这样的校正解决方案不可避免地扭曲图像边界, 这可能改变相关的几何分布, 误导当前视觉认知模型。 在这项工作中, 我们探索通过贡献一个新的学习模式, 即 Rectraging Recitization Net( RecRecrecNet), 在内容和边界上构建一个双赢的表达方式。 特别是, 我们提议了一个薄板样样样样样模块( TPS) 模块, 以制定非线性和非硬质转换图像的内容。 然而, 通过在校正图像上了解控制点, 我们的模式可以将源结构结构结构结构结构结构结构结构的全度调整灵活化。 然后, 我们鼓励 RecNet 学习以 DoF (Degreef) 为基础的质量规则 。 通过增加 DOF 的升级 和 递归化 系统, 将 展示 快速化 系统 的 显示 变 变 的 变 变 变 的 系统, 将 变 的 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变 变