如视300万套VR房源背后的技术硬实力揭秘

作者丨刘燕

采访嘉宾丨惠新宸、潘慈辉、施文博、顾晓东

买房 / 租房人累、经纪人苦、业主难，传统看房模式中的沉疴积蓄已久。为从根本上解决消费者在看房上的痛点，降低消费者的时间成本与交通成本，提高经纪人带看效率，贝壳找房如视团队提出了以三维重建技术为核心的技术解决方案，并推出了一系列 VR 看房产品。成立近 2 年来，如视团队完成了从 0 到 1 的蜕变，截至目前，如视 VR 已覆盖全国 120 多个城市，累计扫描重建 VR 房源超过 300 万套，用户使用 VR 看房累计超过 5 亿次，成为目前国内最大的空间实景三维重建服务商。靓丽的成绩单背后，如视团队强大的技术实力功不可没。

大步快跑，如视 VR 从 0-1

在如视成立之前，贝壳技术副总裁、如视事业部总经理惠新宸就做了详尽的调研。当时 3D 建模技术已发展相对成熟，流行的技术方式主要有全景照片、序列帧、结构光三维重建等。经过调研对比后的结论认为：全景照片方式无法满足精确测量的要求；序列帧方式本质上还是 2D，难以给 C 端用户带来沉浸式体验，且后续的数据价值不大。

团队最终决定采用结构光 VR 方式打造 3D 房源。“我希望不止给用户展示 360 度全景照片，更希望为其呈现具有空间感、方位感的 VR 看房，并且更重要的是数据价值，VR 看房只是三维重建产品化的第一层价值，埋在三维重建后的数据价值才是我认为更重要的”，惠新宸表示。

成立近 2 年来，如视团队一直保持着“大步快跑”的研发节奏，陆续推出了大量面向 B 端的产品，比如黎曼相机、如视 Lite 等 VR 采集设备；以及面向 C 端的产品，比如 VR 看房、VR 讲房、VR 带看、贝壳未来家等。

官方提供的数据显示，通过 VR 看房，用户人均停留时长增加了 210%，房源约看量增加了 138%，经纪人带看效率增加了 13%。

领先源于每一步都走得扎实

在研发力量保障上，如视团队汇集了一大批顶级技术专家，占比近如视总人数七成。惠新宸向 InfoQ 表示，如视的三维重建技术在业内的优势经过了大规模工程落地的验证。如视的 VR 扫描设备稳定性强，在过去一年多时间里采集了 300 多万套 VR 数据，并以每天近 1 万套的速度持续增长，在海量的数据基础上叠加了众多技术创新，自动化程度较高。

自深度学习出现之后，基于数据驱动方式对图像做三维重建在学界和工业界流行开来。如视算法架构师潘慈辉介绍，在海量房源空间数据集的基础上，如视利用深度学习代替人工，通过设计合适的神经网络，充分利用全景图区别于普通图片的特点，用神经网络结合传统方法求解深度值的近似解，从而实现了良好的三维重建效果。在房屋的三维模型上，主要运用到了传统计算机视觉及深度学习中的多视几何和识别分割检测等技术。

如视三维重建

此外如视在户型图自动生成方面也大量运用到了 AI 技术，包括深度学习网络、GAN、数据标注、图像分割、图像识别等。图像识别技术的应用具体包括对房屋内标志性物品的识别，房间结构俯视图的识别等。据潘慈辉介绍，如视自动户型图的研发过程前后历经四个版本，每个版本并非单纯在前一个版本基础上迭代，而是会尝试新的创意和想法，包括通过深度学习实现房间与房间之间的区分，利用对抗神经网络实现端到端的户型图生成，用单张全景图端到端生成单一房间的户型结构等等，最终，他的团队采用了多种方法融合的方式呈现自动户型图。

300 万套 VR 房源数据是保持优势的“护城河”

目前如视团队的技术和产品实力很大程度上集成于如视 Lite 这款新品上。如视 Lite 自今年 11 月正式发布，是加速房源 3D 化的又一利器。

据悉，如视 Lite 基于对 300 多万套 VR 房源数据的深度学习，利用单目图像深度估算技术，将二维的房屋图片赋予三维的“深度”，实现对距离远近和方位的感知。

潘慈辉表示，目前在市面上还没有出现一款跟如视 Lite 类似的产品，它舍弃了深度测量，却又能提供一个真正三维的模型。上述功能的实现正是基于如视的算法和数据壁垒。

数据是如视领先于竞品和保持行业头部优势的重要“护城河”。

如视算法架构师顾晓东认为，这 300 多万 VR 数据为如视 Lite 的三维建模打下了坚实基础。结合最新的 AI 技术，利用这些海量数据来增强对二维、三维目标的检测识别和分割，增强在房屋结构理解、户型图自动生成、房屋三维模型优化等方面的能力。反过来，这些能力的增强也会令数据采集的过程更方便、快捷。

数据是重要的财富，深度学习尤其依赖大数据。“如果没有数据，拿不出有效的模型，那严格来说，算不上对一项技术做到真正掌握。深入到应用之后，你便会发现这个环节是非常依赖数据的”，顾晓东表示。

在落地应用的“战场”上能否站稳脚跟取决于前期的数据积累，必备的“功课”不能落下。在 VR 看房赛道上，尚有许多玩家缺乏同如视一样多维且全面的 VR 数据积累。

单目图像深度估计带来的技术领先

由于缺乏数据根基，现在市面上的一些 VR 看房产品存在“滥竽充数”现象，一些商家利用人视觉的上的“脑补”功能，通过提供 2.5D 模型，也即室内只有墙体是立体的，其他物品是用全景图片模拟，创造出了一种“伪 3D”的错觉。消费者从某一角度乍看上去这些物体是正常形态，但从其他角度看就会变形，并不立体。

惠新宸认为，这些取巧的做法并不是真正的 3D，更不能称之为“三维重建”。更明显的短板是，数据价值不足以支撑后续的技术延展。

在如视 VR 看房界面，每切换到一个场景，所有的室内物品均以三维模型形式呈现，且具备长宽高等深度数据。单目图像深度估计技术是如视 Lite 产品达到“深度”的关键。据了解，这是如视在 VR 看房领域的优势技术。

所谓单目图像深度估计，就是从单张图片出发，估计深度值的算法。潘慈辉介绍，这是一个病态问题，没有确切解。例如，当靠近了拍汽车模型和离远了拍真实的汽车能得到完全相同的图片。但某些特定的场景下，是可以求得不同程度的近似解的。潘慈辉进一步介绍，针对室内场景的全景图片，人类可以一定程度上求近似解。利用估计消失点，并结合全景图片的拍摄高度可以人工估计房间中线段的长度，从而获取房屋结构即墙、天花板和地面的尺寸和深度；结合人类对家具、小物品的先验知识，可以估计图片中各类物体的尺寸和深度。然而这整个人工流程全部发生在人的大脑和手工演算中；如视基于海量的数据积累，可以自然地越过这个流程，让深度神经网络仿照上述人脑的方式，自动地得到和人类经验相近甚至更优的解。

如果说数据积累是实现“真 VR”的第一步，那么数据单目深度估算技术便是第二步，前面两步走扎实了，才有了如视 Lite 轻量化的自若。这有点儿像盖房子，要先打好地基。

在最初技术路径选择的时候，数据价值就被如视团队列入了首要衡量指标。现在再回过头来看，这个选择无疑是正确的。尽管后来追随者和模仿者蜂拥出现，但几无超越者。

海量落地场景形成闭环

在技术硬实力之外，场景化落地是如视的另一大优势。

刚推出不到半月的如视 Lite，率先落地到天津后，截止 11 月 26 日，累计拍摄量为 4373，外网展示量 1927，外网覆盖率 9%。如视 Lite 的租赁业务现已全国开放拍摄，试点区域的商机高于房源渗透 13%，由商机到成交，高于普通房源 30%。

贝壳 VR 看房

值得一提的是，在应用落地上，如视采用了“软硬件一体化”的差异化打法。

如视的一系列 VR 扫描设备均系自主研发，而非采用外部的 VR 设备。如视硬件渠道部负责人施文博表示，之所以选择自研硬件，一方面希望能采集到更多维的数据，更好的满足用户体验，另一方面是出于规模化量产的需要。从黎曼相机到如视 Lite，如视团队还在探索扩宽数据采集的方式和种类，找到多种异质化和定制化的数据采集方式，以满足不同的需求和应用场景。施文博透露，新一代激光扫描设备将于 2020 年量产，该设备除了精度更高、采集距离更远，同时将采集空间中各物体在 905nm 波段红外光的反射率信息，对于物品识别、物体分割等有较大帮助。

如视 Lite 能力升级的同时，在“降成本“上表现出色。相对黎曼相机，如视 Lite 主打轻量化 VR 采集，用普通的相机即可拍出 VR 房源。如视 Lite 成本更低、操作更简单、基本不需人工的干预，还支持接入各种硬件平台。在应用场景上也更加多元，成本更低的如视 Lite 将运用在酒店、租赁等细分场景。

贝壳找房在房地产领域十几年沉淀积累下的场景优势，是如视 VR 产品快速落地的关键。也正是这种基因，这支年轻的技术团队格外关注如何把技术真正落地到场景中去。

核心算法怎么能与工程落地更好结合？这是如视研发人员每天都在思考的问题。潘慈辉认为，一段核心算法，可能在某些特定约束条件下已经达到了非常出色的效果，但要实现落地转化、达到稳定可用，还需要在工程上做很多尝试与调优，甚至需要结合新的算法以达到整体效果的提升。

最近两年，AI 热潮渐趋冷静后迎来了价值验证期，而价值验证的核心标准在于落地。惠新宸对此深有感触，他谈到，自己接触到的一些 AI 创业者直呼‘创业太难了’，因为找不到场景。“有场景是很重要的点，当技术和产品实际运用到场景里，才标志着它是能带来价值的，而不仅仅是噱头”。

硬件、技术、场景是相辅相成的。接下来，如视在深耕上下游产业链的同时，还将加速布局生态链，将其积淀的技术能力向全行业开放赋能。

嘉宾介绍

惠新宸（鸟哥），国内最有影响力的 PHP 技术专家，PHP 开发组核心成员，现任贝壳找房技术副总裁、如视事业部总经理，负责贝壳·如视 VR 看房、AI 讲房、贝壳未来家等产品的研发和落地，以技术探索推动居住服务行业进步的更多可能性。

潘慈辉，如视算法架构师，法国国立信息与自动化研究所博士后。曾在大疆、优必选从事算法研发工作，热衷技术研究，对三维视觉、机器人定位建图、工程实际落地有丰富经验。

施文博，如视硬件渠道部负责人，原 Auto3D 创始人。后加入如视，致力于使用软硬件一体的解决方案解决行业痛点、提升行业效率。

顾晓东，如视算法架构师，中国科技大学本硕博连读，曾先后任职于微软亚洲研究院和 Technicolor 北京研究院。致力于深度学习和计算机视觉方向的学习和研发工作。

点个在看少个 bug 👇