Nullmax打造一套强大的平台化BEV-AI整体技术架构

在高阶智能驾驶不断上车的今天,行泊一体已经成为了汽车行业的量产共识,如何在实现极致性能体验的同时,进一步降低硬件成本,并且大幅提升开发部署的效率,是行泊一体加速落地的关键。
传统的行泊一体方案,行泊功能一般来自两套系统,芯片、传感器各为阵营,不仅性能受限,也带来了多余的硬件成本。面向当下和未来,行泊一体显然需要更加「现代化」的深度融合:传感器深度复用,芯片资源完全共享,并通过强大的软件算法实现功能的整合升级。而这,也对底层的技术架构提出了更高要求。
这套架构既要能够支持行车、泊车的各种传感器,基于单颗soc为主的域控制器打造功能完整的行泊一体应用,还要提供丰富多样的算法选择,满足不同算力和算子情况下的各种行车、泊车任务要求,最好还能实现充分的技术共用和模块复用,让所有方案的开发、部署和升级变得高效便捷。
为此,nullmax打造了这样一套强大的平台化bev-ai整体技术架构,为「现代化」的全场景行泊一体应用提供至关重要的技术支撑,推动高阶智驾加速走向普及。
自动驾驶「新基建」
在智能驾驶时代,汽车最明显的标志是硬件的变化,更高算力的芯片、更多数量的传感器,通常意味着更大的智能化潜力。这些硬件如同自动驾驶功能的基础设施,而用来驱动这些硬件高效协同并提供丰富功能的bev-ai技术架构,就是自动驾驶的「新基建」工程。
对于自动驾驶来说,感知是整个系统的最上游,当传感器的类型和数量显著增加时,如何融合所有传感器持续输入的多模态、不同视角数据,并实时输出下游所需的一系列任务结果,是自动驾驶的核心问题。并且在应用中,感知环节常常会消耗掉车上的大部份算力,所以感知其实也是技术架构的核心所在。
在感知环节,系统需要融合不同视角相机的视觉数据,以及毫米波雷达、激光雷达等传感器的数据,在模型设计和工程实现上都具有很大挑战。常规的后融合处理方式,每个传感器对应一个神经网络,无法充分挖掘多传感器融合的优势,而且计算量大、耗时长。此外,如果多个任务简单地共享一个主干网络,则容易出现各个任务难以同时获得优异性能的情况。
所以在2020年,nullmax构建了基于bev的感知基础架构,为自动驾驶提供融合更准、速度更快的感知模型。它可以有效融合空间和时序信息,对360度的多传感器数据进行高效融合,也能自动搜寻最优的网络设计,支持多传感器、多任务的协同工作。
并且在2022年,nullmax应用bev-transformer完成了这套架构的改造升级,形成了平台化的bev-ai自动驾驶整体技术架构。它在技术底层考虑行车、泊车的特点,将任务范围从感知延伸到下游的规划,提供全场景、端到端、可成长的完整应用。
在深入使用transformer基础上,nullmax bev-ai技术架构还整合了大量bev-cnn的成果,能在面向不同算力、算子的多核异构soc时能够提供最优的算法选择。它可同时输出3d和2d的感知结果,既能为红绿灯检测等适合2d感知的任务提供2d输出,也可以为动态障碍物检测等任务输出3d结果,然后用进行2d校验,在系统层面形成鲁棒的设计。
基于这套先进的bev-ai整体技术架构,nullmax可以快速完成各项功能和任务的开发,并形成一套性能拔尖、易于部署、持续升级的一体化量产方案。
面面俱到的完整bev架构
    为了满足自动驾驶全链的开发迭代需求,nullmax的bev-ai架构涵盖了六个方面的主要内容:bev 3d车道线检测,bev 3d目标检测,bev局部地图,bev规划,云端自动化4d真值标注,车端感知、预测、规划的量产部署。 复杂路口的bev 3d目标检测 bev 3d目标检测为自动驾驶提供360°的动态障碍物检测能力,并融合时序信息对各类目标进行准确预测。bev 3d车道线检测为车辆输出实时的车道情况,bev局部地图在车端实时构建媲美高精地图的高精度局部地图,二者能够在任意常规道路条件下,输出自动驾驶所需的静态场景深刻理解。然后以此为基础,bev规划可以用端到端方式输出行车的轨迹和速度,实现复杂场景下的自动驾驶应用,而不依赖高精地图。 路口场景的bev规划
云端的自动化4d真值标注,用来完成3d空间信息+时间信息的3d bunding-box真值标注,以及车道线、local map等方面的标注,支持bev-ai的高效开发和迭代。最终,nullmax bev-ai整体架构根据实际需求,形成能在车端实时运行、易于部署的感知、预测、规划一系列量产应用。
为了让这套bev-ai技术架构具备平台化特点,满足实际应用中的不同量产需求,nullmax还攻克了三个方面的难点。一是融合多个摄像头数据的同时,不进行单个摄像头的独自处理和多个摄像头结果的复杂后处理,以节省算力、提升融合效果;二是在算法层面实现图像空间到bev空间的信息转换;三是支持任意摄像头,且不过度依赖相机的外参,从而适配所有传感配置。
简单来说,nullmax的bev-ai,采取多相机联合工作方式,输入任意数量相机的图像,直接统一输出bev视角下的三维信息,因而无需为每个相机进行单独的处理。同时,nullmax利用cross-attention机制实现2d图像到3d空间的关联,为bev-ai架构打造了一系列基于transformer的bev检测、分割方法,并通过multi-camera cross attention等方式,实现了不过度依赖相机参数的2d和3d关联。
归功于这些深入的工作,nullmax的bev-ai技术架构为行泊一体等量产应用带来了巨大的平台化优势和产品优势。
大幅提升的bev量产优势
在实际应用中,芯片平台、传感器配置、功能定义、技术指标的细微差异,都可能会为自动驾驶的开发工作带来巨大变动,尤其是复杂的行泊一体量产应用。因此通过平台化的技术架构提升量产效率,意义重大。
nullmax bev-ai架构能够支持所有的芯片平台,提供高中低不同算力平台下的行泊一体量产应用。尤其是在备受欢迎的德州仪器tda4、英伟达orin芯片上,基于bev-ai技术架构的行泊一体方案,有的已经完成交付,有的正在交付。
在最低8t算力的情况下,bev-ai就可以实现包括高速noa在内的基础行泊一体,如果算力达到16t,那么行泊车体验还会进一步升级。当算力达到100t以上,那么bev-ai架构可以提供城市道路的领航辅助功能,实现全场景的行泊一体。
同时,nullmax bev-ai架构还能够支持所有的自动驾驶产品。无论是完整的行泊一体,还是单独的行车、泊车功能,又或者是上游的行泊车感知,bev-ai架构能够按需裁剪,适配任务需求,并且可以支持任意的传感器配置。
夜间基于8t算力和4颗侧视相机的bev周视感知
通常来说,不同的车辆在传感器的类型、数量和参数上会存在普遍差异,比如相机的焦距、像素、fov、安装位置、朝向等情况就各不相同。nullmax的bev-ai架构可以适配这些传感器层面的差异,无需大幅修改算法,即可提供应用。
除此之外,nullmax bev-ai架构还具有平台产品化的特点,让架构平台的技术优势形成了面向部署优化、超远距离感知的产品优点。这让基于bev-ai架构的量产方案,在部署时能能取得更好的应用体验,并在资源占用、感知帧率、系统延时等关键指标上表现更佳,尤其是面对中低算力芯片平台的时候。
而且更远距离的感知,也能为自动驾驶提供更高的安全性。相比于业内bev方案通常数十米远的感知距离,nullmax bev-ai架构可以轻松实现更远距离的有效感知,满足量产功能的所有性能指标。
正是凭借bev-ai架构在平台化和产品化方面带来的这些优势,nullmax不仅快速完成了各种量产应用的高质量开发和交付,并且方案整体达到了行业领先的技术水准。
结语
在汽车向着高阶智驾发展的过程中,先进的技术架构将为自动驾驶的落地带来全方位的优势,不论是量产方案的本身还是技术应用的过程,都不例外。nullmax bev-ai架构将继续作为行泊一体「现代化」路上的「新基建」,加速全场景自动驾驶应用的落地。


内折叠三星Galaxy Fold 曝光,展开后折痕明显
电子芯闻早报:三星14nm威武,机器人可定制
7805稳压器电路图
智能电子拉力试验机的应用领域有哪些?
使用嵌入式代码生成器检查复杂性
Nullmax打造一套强大的平台化BEV-AI整体技术架构
白光LED和其他光源的比较
Firefly-RK3288PWM输出介绍
Oppo和Vivo盈利困难 印度手机零售商合作数量减少
卧式球磨机轴承位磨损,为什么这样修复呢?用现场案例展示
热保护开关结构_热保护开关的工作原理
慧荣科技发布全球首款支持最新SD 8.0规范的SD Express 控制器解决方案
看3D鼠标如何实现3D
星恒电源深耕两轮电动车市场,“技术领先”助力锂电化普及
5G大数据时代,新的财富巨浪即将呼啸袭来
邬贺铨称物联网不是网络是应用
F-35C战斗攻击机已正式进入美国海军陆战队作战部队
三星Galaxy Buds+新增了Jennie Red和全新粉红配色售价为150美元
赑屃论币:3.28行情回顾
如何制作冷钱包并用冷钱包转账