使用自监督学习重建动态驾驶场景
无论是单调的高速行车，还是平日的短途出行，驾驶过程往往平淡无奇。因此，在现实世界中采集的用于开发自动驾驶汽车（av）的大部分训练数据都明显偏向于简单场景。
这给部署鲁棒的感知模型带来了挑战。自动驾驶汽车必须接受全面的训练、测试和验证，以便能够应对复杂的场景，而这需要大量涵盖此类场景的数据。
在现实世界中，收集此类场景数据要耗费大量时间和成本。而现在，仿真提供了另一个可选方案。但要大规模生成复杂动态场景仍然困难重重。
在近期发布的一篇论文中，nvidia research 展示了一种基于神经辐射场（nerf）的新方法——emernerf 及其如何使用自监督学习准确生成动态场景。通过自监督方法训练，emernerf 在动静态场景重建上的表现超越了之前其他 nerf 方法。详细情况请参见 emernerf: emergent spatial-temporal scene decomposition via self-supervision。
图 1. emernerf 重建动态驾驶场景的示例
相比其他 nerf 重建方法，emernerf 的动态场景重建准确率高出 15%，静态场景高出 11%。新视角合成的准确率也高出 12%。
打破 nerf 方法的局限性
nerf 将一组静态图像重建成逼真的 3d 场景。这使得依据驾驶日志重建用于 dnn 训练、测试验证的高保真仿真环境成为可能。
然而，目前基于 nerf 的重建方法在处理动态物体时十分困难，而且实践证明难以扩展。例如有些方法可以生成静态和动态场景，但它们依赖真值（gt）标签。这就意味着必须使用自动标注或人工标注员先来准确标注出驾驶日志中的每个物体。
其他 nerf 方法则依赖于额外的模型来获得完整的场景信息，例如光流。
为了打破这些局限性，emernerf 使用自监督学习将场景分解为静态、动态和流场（flow fields）。该模型从原始数据中学习前景、背景之间的关联和结构，而不依赖人工标注的 gt 标签。然后，对场景做时空渲染，并不依赖外部模型来弥补时空中的不完整区域，而且准确性更高。
图 2. emernerf 将图 1 第一段视频中的场景分解为动态场、静态场和流场
因此，其他模型往往会产生过于平滑的背景和精度较低的动态物体（前景），而 emernerf 则能重建高保真的背景及动态物体（前景），同时保留场景的细节。
表 1. 将 emernerf 与其他基于 nerf 的动态场景重建方法进行比较后的评估结果，分为场景重建性能和新视角合成性能两个类别
表 2. 将 emernerf 与其他基于 nerf 的静态场景重建方法进行比较后的评估结果
emernerf 方法
emernerf 使用的是自监督学习，而非人工注释或外部模型，这使得它能够避开之前方法所遇到的难题。
图 3. emernerf 分解和重建管线
emernerf 将场景分解成动态和静态元素。在场景分解的同时，emernerf 还能估算出动态物体（如汽车和行人）的流场，并通过聚合流场在不同时间的特征以进一步提高重建质量。其他方法会使用外部模型提供此类光流数据，但通常会引入偏差。
通过将静态场、动态场和流场结合在一起，emernerf 能够充分表达高密度动态场景，这不仅提高了重建精度，也方便扩展到其他数据源。
使用基础模型加强语义理解
emernerf 对场景的语义理解，可通过（视觉）基础大模型监督进一步增强。基础大模型具有更通用的知识（例如特定类型的车辆或动物）。emernerf 使用视觉 transformer（vit）模型，例如 dino， dinov2，将语义特征整合到场景重建中。
这使 emernerf 能够更好地预测场景中的物体，并执行自动标注等下游任务。
图 4. emernerf 使用 dino 和 dinov2 等基础模型加强对场景的语义理解
不过，基于 transformer 的基础模型也带来了新的挑战：语义特征可能会表现出与位置相关的噪声，从而大大限制下游任务的性能。
图 5. emernerf 使用位置嵌入消除基于 transformer 的基础模型所产生的噪声
为了解决噪声问题，emernerf 通过位置编码分解来恢复无噪声的特征图。如图 5 所示，这样就解锁了基础大模型在语义特征上全面、准确的表征能力。
评估 emernerf
正如 emernerf: emergent spatial-temporal scene decomposition via self-supervision 中所述，研究人员整理出了一个包含 120 个独特场景的数据集来评估 emernerf 的性能，这些场景分为 32 个静态场景、32 个动态场景和 56 个多样化场景，覆盖了高速、低光照等具有挑战性的场景。
然后根据数据集的不同子集，评估每个 nerf 模型重建场景和合成新视角的能力。
如表 1 所示，据此，emernerf 在场景重建和新视角合成方面的表现始终明显优于其他方法。
emernerf 的表现还优于专门用于静态场景的方法，这表明将场景分解为静态和动态元素的自监督分解既能够改善静态重建，还能够改善动态重建。
总结
自动驾驶仿真只有在能够准确重建现实世界的情况下才会有效。随着场景的日益动态化和复杂化，对保真度的要求也越来越高，而且更难实现。
与以前的方法相比，emernerf 能够更准确地表现和重建动态场景，而且无需人工监督或外部模型。这样就能大规模地重建和编辑复杂的驾驶数据，解决目前自动驾驶汽车训练数据集的不平衡问题。
nvidia 正迫切希望研究 emernerf 带来的新功能，如端到端驾驶、自动标注和仿真等。
如要了解更多信息，请访问 emernerf 项目页面并阅读 emernerf: emergent spatial-temporal scene decomposition via self-supervision。
了解更多
适用于自动驾驶汽车的解决方案
https://www.nvidia.cn/self-driving-cars/
emernerf 项目页面
https://emernerf.github.io/
阅读 emernerf: emergent spatial-temporal scene decomposition via self-supervision.
https://arxiv.org/abs/2311.02077
gtc 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，立即注册 gtc 大会。
原文标题：使用自监督学习重建动态驾驶场景
文章出处：【微信公众号：nvidia英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
信步科技SV-KBL-U4嵌入式主板介绍
新能源汽车退贴最新消息：2020年年底之前完全取消
基于USB HOST技术实现嵌入式读写优盘的系统设计
超越专业电竞手机：Redmi K40触控采样率超300Hz！
IBM在北京宣布，为安踏集团部署的SAP S/4HANA平台成功上线
使用自监督学习重建动态驾驶场景
叠加定理
中国崛起？AI芯片新蓝海将至
数造辉煌!西部数据上海工厂成为中国首家荣获“可持续发展灯塔工厂”称号企业
三星Galaxy X计划推出折叠屏,弯度细数1.0R需要2019年就绪
国际半导体产业协会警告美国政府_制裁中芯国际美国年损失或达50亿
LM358电压跟随器设计方案
SUV哈弗HB-03 、传祺EV Couple、吉利全新轿跑SUV三大最火国产车企，同时对标宝马X6
张慧勇：区块链将成为信用领域常态技术，可加速信用生态进化
基于FPGA器件实现高速采集系统的设计
大数据如何影响银行管理系统？
信锐同频智能会议主机，「频」什么选你？
录音电话的录音时间
数字经济的重要技术驱动力人工智能技术发展
调查表明：2017年手机电池续航超75小时
这给部署鲁棒的感知模型带来了挑战。自动驾驶汽车必须接受全面的训练、测试和验证，以便能够应对复杂的场景，而这需要大量涵盖此类场景的数据。
在现实世界中，收集此类场景数据要耗费大量时间和成本。而现在，仿真提供了另一个可选方案。但要大规模生成复杂动态场景仍然困难重重。
在近期发布的一篇论文中，nvidia research 展示了一种基于神经辐射场（nerf）的新方法——emernerf 及其如何使用自监督学习准确生成动态场景。通过自监督方法训练，emernerf 在动静态场景重建上的表现超越了之前其他 nerf 方法。详细情况请参见 emernerf: emergent spatial-temporal scene decomposition via self-supervision。
图 1. emernerf 重建动态驾驶场景的示例
相比其他 nerf 重建方法，emernerf 的动态场景重建准确率高出 15%，静态场景高出 11%。新视角合成的准确率也高出 12%。
打破 nerf 方法的局限性
nerf 将一组静态图像重建成逼真的 3d 场景。这使得依据驾驶日志重建用于 dnn 训练、测试验证的高保真仿真环境成为可能。
然而，目前基于 nerf 的重建方法在处理动态物体时十分困难，而且实践证明难以扩展。例如有些方法可以生成静态和动态场景，但它们依赖真值（gt）标签。这就意味着必须使用自动标注或人工标注员先来准确标注出驾驶日志中的每个物体。
其他 nerf 方法则依赖于额外的模型来获得完整的场景信息，例如光流。
为了打破这些局限性，emernerf 使用自监督学习将场景分解为静态、动态和流场（flow fields）。该模型从原始数据中学习前景、背景之间的关联和结构，而不依赖人工标注的 gt 标签。然后，对场景做时空渲染，并不依赖外部模型来弥补时空中的不完整区域，而且准确性更高。
图 2. emernerf 将图 1 第一段视频中的场景分解为动态场、静态场和流场
因此，其他模型往往会产生过于平滑的背景和精度较低的动态物体（前景），而 emernerf 则能重建高保真的背景及动态物体（前景），同时保留场景的细节。
表 1. 将 emernerf 与其他基于 nerf 的动态场景重建方法进行比较后的评估结果，分为场景重建性能和新视角合成性能两个类别
表 2. 将 emernerf 与其他基于 nerf 的静态场景重建方法进行比较后的评估结果
emernerf 方法
emernerf 使用的是自监督学习，而非人工注释或外部模型，这使得它能够避开之前方法所遇到的难题。
图 3. emernerf 分解和重建管线
emernerf 将场景分解成动态和静态元素。在场景分解的同时，emernerf 还能估算出动态物体（如汽车和行人）的流场，并通过聚合流场在不同时间的特征以进一步提高重建质量。其他方法会使用外部模型提供此类光流数据，但通常会引入偏差。
通过将静态场、动态场和流场结合在一起，emernerf 能够充分表达高密度动态场景，这不仅提高了重建精度，也方便扩展到其他数据源。
使用基础模型加强语义理解
emernerf 对场景的语义理解，可通过（视觉）基础大模型监督进一步增强。基础大模型具有更通用的知识（例如特定类型的车辆或动物）。emernerf 使用视觉 transformer（vit）模型，例如 dino， dinov2，将语义特征整合到场景重建中。
这使 emernerf 能够更好地预测场景中的物体，并执行自动标注等下游任务。
图 4. emernerf 使用 dino 和 dinov2 等基础模型加强对场景的语义理解
不过，基于 transformer 的基础模型也带来了新的挑战：语义特征可能会表现出与位置相关的噪声，从而大大限制下游任务的性能。
图 5. emernerf 使用位置嵌入消除基于 transformer 的基础模型所产生的噪声
为了解决噪声问题，emernerf 通过位置编码分解来恢复无噪声的特征图。如图 5 所示，这样就解锁了基础大模型在语义特征上全面、准确的表征能力。
评估 emernerf
正如 emernerf: emergent spatial-temporal scene decomposition via self-supervision 中所述，研究人员整理出了一个包含 120 个独特场景的数据集来评估 emernerf 的性能，这些场景分为 32 个静态场景、32 个动态场景和 56 个多样化场景，覆盖了高速、低光照等具有挑战性的场景。
然后根据数据集的不同子集，评估每个 nerf 模型重建场景和合成新视角的能力。
如表 1 所示，据此，emernerf 在场景重建和新视角合成方面的表现始终明显优于其他方法。
emernerf 的表现还优于专门用于静态场景的方法，这表明将场景分解为静态和动态元素的自监督分解既能够改善静态重建，还能够改善动态重建。
总结
自动驾驶仿真只有在能够准确重建现实世界的情况下才会有效。随着场景的日益动态化和复杂化，对保真度的要求也越来越高，而且更难实现。
与以前的方法相比，emernerf 能够更准确地表现和重建动态场景，而且无需人工监督或外部模型。这样就能大规模地重建和编辑复杂的驾驶数据，解决目前自动驾驶汽车训练数据集的不平衡问题。
nvidia 正迫切希望研究 emernerf 带来的新功能，如端到端驾驶、自动标注和仿真等。
如要了解更多信息，请访问 emernerf 项目页面并阅读 emernerf: emergent spatial-temporal scene decomposition via self-supervision。
了解更多
适用于自动驾驶汽车的解决方案
https://www.nvidia.cn/self-driving-cars/
emernerf 项目页面
https://emernerf.github.io/
阅读 emernerf: emergent spatial-temporal scene decomposition via self-supervision.
https://arxiv.org/abs/2311.02077
gtc 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，立即注册 gtc 大会。
原文标题：使用自监督学习重建动态驾驶场景
文章出处：【微信公众号：nvidia英伟达企业解决方案】欢迎添加关注！文章转载请注明出处。
信步科技SV-KBL-U4嵌入式主板介绍
新能源汽车退贴最新消息：2020年年底之前完全取消
基于USB HOST技术实现嵌入式读写优盘的系统设计
超越专业电竞手机：Redmi K40触控采样率超300Hz！
IBM在北京宣布，为安踏集团部署的SAP S/4HANA平台成功上线
使用自监督学习重建动态驾驶场景
叠加定理
中国崛起？AI芯片新蓝海将至
数造辉煌!西部数据上海工厂成为中国首家荣获“可持续发展灯塔工厂”称号企业
三星Galaxy X计划推出折叠屏,弯度细数1.0R需要2019年就绪
国际半导体产业协会警告美国政府_制裁中芯国际美国年损失或达50亿
LM358电压跟随器设计方案
SUV哈弗HB-03 、传祺EV Couple、吉利全新轿跑SUV三大最火国产车企，同时对标宝马X6
张慧勇：区块链将成为信用领域常态技术，可加速信用生态进化
基于FPGA器件实现高速采集系统的设计
大数据如何影响银行管理系统？
信锐同频智能会议主机，「频」什么选你？
录音电话的录音时间
数字经济的重要技术驱动力人工智能技术发展
调查表明：2017年手机电池续航超75小时