编辑推荐 | 视频 + 地图！四维信息助力实景中国

会员服务 ·

编辑推荐 | 视频 + 地图！四维信息助力实景中国

2019 年 11 月 14 日 中国图象图形学报

点击中国图象图形学报→主页右上角菜单栏→设为星标

（图片来自网络）

地图的三维信息+视频的时间信息会碰撞出什么火花呢？答案就是具备四维信息的城市视频实景地图。它对于互联网地图产品发展、城市立体监控系统构建、未来实景中国建设具有重要意义，有望带来万亿级市场机遇！

《中国图象图形学报》2019年第9期学者观点，同时也是封面文章《城市视频实景地图构建初探》从增强虚拟环境技术（AVE）角度出发，对全景摄像机标定、全景视频空间配准、视频纹理映射、实时渲染系列技术和方法等进行了梳理。

第九期封面2.jpg

论文标题：城市视频实景地图构建初探

论文作者：吴军, 刘祺昌, 黄明益

主题词：视频实景地图; 3维地图; 虚拟现实; 全景摄像机标定; 视频空间配准; 视频纹理映射; 实时渲染

引用格式：Wu J, Liu Q C, Huang M Y.Preliminary exploration on the construction of urban video real-scene map[J]. Journal of Image and Graphics, 2019, 24(9): 1409-1415. [吴军, 刘祺昌, 黄明益. 城市视频实景地图构建初探[J]. 中国图象图形学报, 2019, 24(9): 1409-1415.]

[DOI: 10.11834/jig.190112]

全文链接：

http://www.cjig.cn/html/jig/2019/9/20190901.htm

学者观点

● 适合传统“针孔”模型的摄像机标定、影像空间配准理论和方法，需根据全景摄像机球面投影模型进行拓展；

● 适合静态纹理的大规模3D场景渲染LOD（levels of detail）技术和策略，需结合视频传输带宽限制、高帧率特点进行技术创新。

研究背景

监控摄像机广泛分布于城市不同区域(位置)的监控摄像机可提供实时视频，用于实现城市重点区域(目标)空间信息的持续、实时更新且实施成本低。然而，单一摄像机只能采集有限位置、视角的视频信息，其空间信息割裂、碎片化, 整体联动困难，不利于全面了解目标在区域内的行为状态。

地图可以弥补这一缺陷。具有统一地理框架的互联网地图可集成各类政治、经济、文化及公民个人行为信息。将城市监控视频与互联网地图相结合，有助于在宏观上把握监控区域整体安全态势, 克服传统监控画面相互孤立、缺乏关联性的应用局限，还能借助成熟地理信息技术强大的空间查询、统计、分析功能，大幅提高视频监控信息的综合管理、分析利用及决策水平，安防行业应用价值巨大。

（图片来自网络）

新型摄像机梳理

城市公共安全区域一般为广域场景，如车站、机场、港口等，大规模安装摄像机成本高且不能保证每一处位置监控不留死角，针对这一应用问题，当前安防市场上推出了具有360°/180°视野的新型全景网络摄像机，主要有鱼眼、多拼两类全景摄像机。

鱼眼全景摄像机具有视角广阔(接近甚至超过180°)、体积小、价格低廉等优点，适合于小范围区域全景视频信息采集。从球面投影原理出发，现有鱼眼相机标定方法主要利用空间直线在球面上投影为一个大圆(或在鱼眼图像上的投影为椭圆弧)的几何特性来求解模型参数，但全局优化中外部参数数量多，不准确的外部参数初始值极易使优化陷入局部最优。难点在于，如何发展无需拆卸监控设备的现场标定、不依赖于特定参照物模式及量测信息的自标定方法。

多拼全景摄像机通常由多个不同视角、物理独立的传统CCD摄像机固定于特定机械结构上得到，分辨率高、景深远，被广泛应用于室内、外大范围场所监控环境，目前商用主要有美国360Heros系列、Surround360系列、国内Insta360系列等。多拼全景摄像机中各子摄像机一般为传统“针孔”摄像机，故包括单相机标定和组合相机标定两部分内容，前者研究开展已较深入，困难在于如何通过简单的组合标定过程获得子摄像机间的相对外参(旋转矩阵、平移矢量)，以确保利用该标定参数能将子摄像机采集的多路视频像素投影到设定球面(或柱面)生成高清全景视频。

（图片来自网络）

全景视频与三维地图融合方案

全景视频与三维地图融合实现存在以下两方面的问题：

● 视频传输效率与三维场景LOD渲染视觉质量、流畅效果间的平衡；

● 如何从高帧率全景视频中快速生成纠正的纹理影像。针对以上两方面问题，建议分别采用以下解决方案：

方案1

目前视频进入IPC后可编码提供两种码流——主码流和子码流。从融合整体效率及未来应用出发，可考虑建立面向城市视频实景地图服务的视频统一接入平台, 构建流媒体服务器从不同类型、不同编码的IPC全景摄像机中获取视频并经统一编码后再发送，从而使用户无需考虑摄像机具体型号和驱动。

方案2

利用GPU并行处理能力及其查找表计算特点，将全景视频动态纹理影像生成过程分为离线、在线计算两个阶段，以大幅提高全景视频纹理生成及映射效率。

纹理映射实施的前提是具有纹理影像并提供绘制所需的目标模型表面顶点物体坐标和纹理坐标，借助于全景摄像机标定、空间配准计算精确恢复的摄影几何模型及其空间映射关系。一方面利用三维地图模型表面在全景视频中的投影自动给出对应顶点、纹理坐标并对模型表面对应视频区域进行纠正以获得无失真视频纹理。

另一方面，当全景摄像机安装完毕且不发生移动，可利用恢复的全景摄影几何模型参数预先(离线计算)生成一个表征视频像素与其对应空间位置关系的映射查找表。三维场景LOD渲染(在线、离线)时则结合该查找表和LOD策略下加载的全景视频像素数据，利用GPU强大的并行计算能力实时生成纹理影像并映射到地图目标区域表面，从而确保带动态视频纹理的大规模三维地图场景具有良好的浏览和观赏体验。