飞凡汽车出题：前融合+后融合=？

2022 年 9 月 12 日 机器之心

作者 / 华卫

「自动驾驶的关键是硬件还是软件？」这是近日知乎的汽车板块热议的一个话题，不少车企、算法供应商与大V都加入了讨论。

其中，上汽旗下的飞凡汽车也就其首次提出的全融合感知算法发表了见解，同时给智驾行业出了一道新题目：当前、后融合算法组合到一起，会撞出什么新火花？

9月7日，飞凡汽车在线上举办了飞凡R7智驾系统沟通会，进一步详细对外介绍了飞凡R7搭载的RISING PILOT全融合高阶智驾系统，包括感知硬件配置、全融合感知算法和芯片平台等方面。据悉，飞凡R7将于今年9月下旬正式上市，今年10月正式开启交付。

此外，飞凡汽车介绍，飞凡R7的智能座舱将采用RISING OS智舱交互系统，并配备高通骁龙SA8155芯片、RISINGMAX飞凡3+1巨幕、43英寸三联屏以及华为视觉增强AR-HUD平视系统。

三大感知硬件都上车

业界常说，「软件定义汽车」，但再强大的功能也要硬件跟得上。

据介绍，搭载RISING PILOT全融合高阶智驾系统的飞凡R7整车搭载了33个高阶感知硬件，包括国内首发量产的采埃孚Premium4D成像雷达、800万像素高清摄像头及全球首发量产的LUMINAR 1550nm高规激光雷达。

其中，Premium4D成像雷达除最远探测距离可达350米外，还能通过增加纵向俯望角的维度和感知静态环形障碍物的高度，提升对静止、缓行障碍物的探测能力，并能在雨雪、雾、粉尘等极端天气保持正常稳定工作，不受强光、逆光及黑暗的影响。

飞凡智驾首席科学家金杰盂谈到，他们在该4D成像雷达上实现了多任务的机器学习网络，能够提取出人、车的运动轮廓、类型等信息，并针对车道前方静止障碍物采用了专用机器学习网络。同时，他们还在该4D成像雷达上实现了一个时间序列的机器学习网络，可帮助整合4D成像雷达在连续帧不同时间的点云积累。

LUMINAR 1550nm高规激光雷达则能够在10%的反射率标准下实现250米的最远探测距离，并有效识别不规则禁止障碍物等。金杰盂表示，在这颗激光雷达上，他们进行了三维的点云神经网络检测，并与传统的常规非神经网络算法结合，来精准探测、判断车辆前方运动的人、车等交通参与者的位置、轮廓以及类型。

而12颗高清摄像头与点云输出的雷达矩阵形成了协同补强，可实现360度识别障碍物和交通要素。金杰盂介绍，他们将所有的摄像头进行了时间和空间上的对齐，并把综合后的统一图像放入多任务多特征的神经网络，实现了对人、车等交通参与者以及车道线、红绿灯、限速牌等静态交通要素的完整探测。

飞凡汽车方面称，「目前飞凡R7是唯一集齐视觉、毫米波、激光雷达这三大领域最顶级硬件的车型。」

首创双版本全融合算法

硬件可以通过资源整合，软件算法的研发实力则是智驾发展的核心能力。

在软件层面，飞凡R7搭载的RISING PILOT采用了行业首创的Full Fusion全融合算法。金杰盂表示，「这套全融合算法能够最大化地利用飞凡R7的硬件性能，是飞凡汽车改变智能驾驶规则的关键。」

目前，行业内采用的多传感器融合算法主要分为前融合和后融合。前融合是指系统会将传感器感知数据进行整合，输出一个感知结果，再进行决策。这种算法对不同类型源数据的时效性要求高，对硬件算力有更强要求。后融合是指所有传感器均输出感知结果，供系统决策。该算法的弊端是单一类型的传感器因自身能力限制，受位置、光线以及速度等因素影响，可能发生漏检或误检。

据介绍，RISING PILOT采用的全融合算法，是将前融合和后融合两个过程同步进行，对视觉、毫米波、激光雷达等独立输出的感知结果进行后融合，同时综合激光/毫米波+图像的前融合结果进行全要素全观测周期融合，并依靠高带宽、超算力芯片平台实现安全冗余部署，旨在毫秒级内完成感知、融合、预测、决策、执行等一整套应急反应。

并且，RISING PILOT还会将通过全融合算法获取的信息与高精度地图进行再次综合，进一步精准测量、判断车辆周围环境的动态以及静止物体，最终得到的感知结果会实时呈现在车机大屏上。

（飞凡全融合算法原理解析视频）

此外，金杰盂提到，这套全融合算法还有另外一个版本。在该版本中，他们拿掉了前融合部分的激光雷达，用4D雷达的点云图像做前融合，整套系统只用了4D毫米波雷达、4个增强版的点云角雷达以及12个摄像头。据悉，这个版本的全融合算法会不断在OTA过程中升级和更新，以做到给用户的全量性能推送。

RISING PILOT应对复杂路况

多类感知硬件的整合和多种融合算法的集成，必然会对芯片算力资源产生较高的要求。

对此，飞凡汽车表示，RISING PILOT全融合智驾系统搭载了2颗英伟达的Orin X芯片，不仅功耗更低，而且性能更强。据介绍，单颗Orin X芯片的算力可达254 TOPS，能够让高阶感知硬件最大程度发挥效能，并满足L3-L4级别100-1000TOPS的算力冗余要求，为之后升级迭代、持续进化提供算力储备。