基于AI的实时感知提升自动代客泊车功能
这是 nvidia drive labs 系列 中的最新视频。这些视频以工程为重点，介绍了各个自主车辆的挑战以及 nvidia 驱动团队如何应对这些挑战。
自动停车涉及一系列复杂的感知和决策算法，传统上依赖高清（ hd ）地图来检索停车信息。
然而，地图覆盖率和较差或过时的本地化信息可能会限制此类系统。除此之外，系统还必须理解和解释不同地区的停车规则。
在这个 drive labs 的帖子中，我们展示了基于 ai 的实时感知如何帮助将自动停车扩展到全球各个地区。
自动泊车系统概述
对停车规则的理解和解释可能会比表面上看起来更加微妙。
可以覆盖有效区域内的不同停车规则。例如，“禁止停车”可以覆盖“禁止泊车”
此外，非停车相关标志可以推断停车规则。例如，在德国，任何公共汽车站标志 15 米范围内都不允许停车。在美国，停车标志前 30 英尺内停车是违法的。
最后，除了像物理标志这样的明确线索外，还有携带停车信息的隐含标志。例如，在许多地区，交叉口表示上一个活动停车规则的结束。
基于高级算法的停车标志辅助（ psa ）系统对于自动车辆了解停车规则的复杂性并做出相应反应至关重要。
传统的 psa 系统仅依赖高清地图的输入。然而， nvidia drive av 软件堆栈利用最先进的深度神经网络（ dnn ）和计算机视觉算法来提高真实场景中自动停车的覆盖率和鲁棒性。这些技术可以实时检测、跟踪和分类各种停车交通标志和道路交叉口。
waitnet dnn 检测交通标志和十字路口。
wait perception 堆栈跟踪单个标志和交点，通过三角测量提供 3d 位置。
signnet dnn 标识交通标志类型。
然后，来自模块的结果被输入 psa 系统，该系统使用这些数据来确定汽车是否在停车带内，限制条件是什么，以及汽车是否允许在该区域内停车或停车。
停车标志辅助系统概述
psa 系统接收到检测到的停车标志和道路交叉口后，将对象抽象为一个 启动停车标志 或 终点停车标志 。这种抽象级别允许系统在全球范围内扩展。
启动停车标志 标志着新停车带的潜在开始， 终点停车标志 可能会关闭一个或多个现有停车带。图 1 和图 2 显示了停车带是如何形成的。
图 1 ：形成停车带
图 1 将标志和道路交叉口抽象为停车带。该图显示，单个标志可以生成多个虚拟标志。例如，中间的符号作为最左边符号的“结束”符号，作为最右边符号的“开始”。
图 2 ：禁止停车区旁的汽车。
除了形成停车带外， psa 系统还利用标志的语义将停车带分为禁止停车、禁止停留、允许停车和未知状态。然后，可以将此信息提供给驾驶员或任何自动停车系统。
图 3 ：psa 的高水平工作
图 3 显示了 psa 系统的主要功能工作流。在帧 a 中，检测到“停车区开始”标志，并创建新的停车带。汽车行驶一段时间后，检测到“停车区结束”标志，该标志与该停车带的开始标志相匹配。
最后， psa 系统将所有激活的停车带存储在其存储器中，并根据停车带所隐含的交通规则向驾驶员发出当前停车状态的信号。
结论
psa 系统在 nvidia drive agx 上运行仅几毫秒，就可以以惊人的准确性实现复杂的决策。它还兼容任何使用实时摄像头传感器输入的仅感知自动车辆堆栈。
我们目前的 signnet dnn 支持欧洲 20 多个停车标志，包括公共汽车停车标志、禁止停车标志和禁止停车标志，覆盖范围不断扩大。我们还将光学字符识别（ ocr ）和自然语言处理（ nlp ）模块添加到系统中，以处理符号上书写文本携带的复杂信息。
关于作者
邹珂轩是 nvidia 自主车辆感知团队的计算机视觉工程师。他目前正在开发动态和静态对象的多摄像头跟踪。过去，他是基于实时感知的等待条件系统（包括速度辅助系统和停车标志辅助系统）各种功能和算法的核心贡献者之一。克劳斯在伊利诺伊大学香槟分校获得计算机工程硕士学位。
maroof mohammed farooq 是 nvidia 的高级软件工程师。他是自动车辆感知团队的成员，在该团队中，他致力于开发动态和静态障碍物的摄像头对象跟踪器。过去，他为路径感知、路标识别和等待条件系统的基于 ai 的解决方案的设计和开发做出了贡献。他在南加州大学完成了信号处理硕士学位。
窦航是 nvidia 自主车辆感知团队的技术负责人和工程师经理。他领导了等待条件系统（道路规则、标志、灯光、交叉口区域、路标等的语义理解）的开发，目前正在领导开发动态对象（车辆、行人等）和静态对象（自由驾驶空间等）的通用摄像头跟踪。hang在圣路易斯华盛顿大学获得了计算机科学博士学位，由ju教授指导。hang的工作领域包括计算机图形学、计算机视觉和深度学习，尤其对几何、渲染、检测和分类感兴趣。
毫米波雷达黄金时期将至 那么究竟什么是雷达呢？
三相电和单相电的区别是什么？
双输出同步降压型DC/DC控制器LTC3838的性能及作用分析
博罗两家电路板厂因安全隐患要求限期整改
基于嵌入式Linux的晶体生长控径系统的研究
基于AI的实时感知提升自动代客泊车功能
安森美半导体和RFMicron推出多层面物联网传感器平台支持无电池操作
vivo营销聚光计划继续“发光”，全方位助力视频办公行业
电动车控制器的更换方法
华为盘古大模型3.0正式发布！加速走向全球市场
反射式光电开关应用原理
以色列公布的一款Sensight数字化瞄准镜就是一个很好的体现，堪称新款黑科技
联想智能音箱体验 完全地解放双手
一分钟快速了解PLC编程算法
打破不可能，助力5G大规模商用
扭矩传感器原理与应用知识
紫光展锐入局，更多5G模组解决方案推动5G物联网应用进入高速车道
氧化皮清洗机是一款可改善五金工具表面质量的设备
区块链发票是如何改变税收的
芯产品 | 匠心独具 动力升级 紫光推出KX-6000G平台新机
自动停车涉及一系列复杂的感知和决策算法，传统上依赖高清（ hd ）地图来检索停车信息。
然而，地图覆盖率和较差或过时的本地化信息可能会限制此类系统。除此之外，系统还必须理解和解释不同地区的停车规则。
在这个 drive labs 的帖子中，我们展示了基于 ai 的实时感知如何帮助将自动停车扩展到全球各个地区。
自动泊车系统概述
对停车规则的理解和解释可能会比表面上看起来更加微妙。
可以覆盖有效区域内的不同停车规则。例如，“禁止停车”可以覆盖“禁止泊车”
此外，非停车相关标志可以推断停车规则。例如，在德国，任何公共汽车站标志 15 米范围内都不允许停车。在美国，停车标志前 30 英尺内停车是违法的。
最后，除了像物理标志这样的明确线索外，还有携带停车信息的隐含标志。例如，在许多地区，交叉口表示上一个活动停车规则的结束。
基于高级算法的停车标志辅助（ psa ）系统对于自动车辆了解停车规则的复杂性并做出相应反应至关重要。
传统的 psa 系统仅依赖高清地图的输入。然而， nvidia drive av 软件堆栈利用最先进的深度神经网络（ dnn ）和计算机视觉算法来提高真实场景中自动停车的覆盖率和鲁棒性。这些技术可以实时检测、跟踪和分类各种停车交通标志和道路交叉口。
waitnet dnn 检测交通标志和十字路口。
wait perception 堆栈跟踪单个标志和交点，通过三角测量提供 3d 位置。
signnet dnn 标识交通标志类型。
然后，来自模块的结果被输入 psa 系统，该系统使用这些数据来确定汽车是否在停车带内，限制条件是什么，以及汽车是否允许在该区域内停车或停车。
停车标志辅助系统概述
psa 系统接收到检测到的停车标志和道路交叉口后，将对象抽象为一个 启动停车标志 或 终点停车标志 。这种抽象级别允许系统在全球范围内扩展。
启动停车标志 标志着新停车带的潜在开始， 终点停车标志 可能会关闭一个或多个现有停车带。图 1 和图 2 显示了停车带是如何形成的。
图 1 ：形成停车带
图 1 将标志和道路交叉口抽象为停车带。该图显示，单个标志可以生成多个虚拟标志。例如，中间的符号作为最左边符号的“结束”符号，作为最右边符号的“开始”。
图 2 ：禁止停车区旁的汽车。
除了形成停车带外， psa 系统还利用标志的语义将停车带分为禁止停车、禁止停留、允许停车和未知状态。然后，可以将此信息提供给驾驶员或任何自动停车系统。
图 3 ：psa 的高水平工作
图 3 显示了 psa 系统的主要功能工作流。在帧 a 中，检测到“停车区开始”标志，并创建新的停车带。汽车行驶一段时间后，检测到“停车区结束”标志，该标志与该停车带的开始标志相匹配。
最后， psa 系统将所有激活的停车带存储在其存储器中，并根据停车带所隐含的交通规则向驾驶员发出当前停车状态的信号。
结论
psa 系统在 nvidia drive agx 上运行仅几毫秒，就可以以惊人的准确性实现复杂的决策。它还兼容任何使用实时摄像头传感器输入的仅感知自动车辆堆栈。
我们目前的 signnet dnn 支持欧洲 20 多个停车标志，包括公共汽车停车标志、禁止停车标志和禁止停车标志，覆盖范围不断扩大。我们还将光学字符识别（ ocr ）和自然语言处理（ nlp ）模块添加到系统中，以处理符号上书写文本携带的复杂信息。
关于作者
邹珂轩是 nvidia 自主车辆感知团队的计算机视觉工程师。他目前正在开发动态和静态对象的多摄像头跟踪。过去，他是基于实时感知的等待条件系统（包括速度辅助系统和停车标志辅助系统）各种功能和算法的核心贡献者之一。克劳斯在伊利诺伊大学香槟分校获得计算机工程硕士学位。
maroof mohammed farooq 是 nvidia 的高级软件工程师。他是自动车辆感知团队的成员，在该团队中，他致力于开发动态和静态障碍物的摄像头对象跟踪器。过去，他为路径感知、路标识别和等待条件系统的基于 ai 的解决方案的设计和开发做出了贡献。他在南加州大学完成了信号处理硕士学位。
窦航是 nvidia 自主车辆感知团队的技术负责人和工程师经理。他领导了等待条件系统（道路规则、标志、灯光、交叉口区域、路标等的语义理解）的开发，目前正在领导开发动态对象（车辆、行人等）和静态对象（自由驾驶空间等）的通用摄像头跟踪。hang在圣路易斯华盛顿大学获得了计算机科学博士学位，由ju教授指导。hang的工作领域包括计算机图形学、计算机视觉和深度学习，尤其对几何、渲染、检测和分类感兴趣。
毫米波雷达黄金时期将至 那么究竟什么是雷达呢？
三相电和单相电的区别是什么？
双输出同步降压型DC/DC控制器LTC3838的性能及作用分析
博罗两家电路板厂因安全隐患要求限期整改
基于嵌入式Linux的晶体生长控径系统的研究
基于AI的实时感知提升自动代客泊车功能
安森美半导体和RFMicron推出多层面物联网传感器平台支持无电池操作
vivo营销聚光计划继续“发光”，全方位助力视频办公行业
电动车控制器的更换方法
华为盘古大模型3.0正式发布！加速走向全球市场
反射式光电开关应用原理
以色列公布的一款Sensight数字化瞄准镜就是一个很好的体现，堪称新款黑科技
联想智能音箱体验 完全地解放双手
一分钟快速了解PLC编程算法
打破不可能，助力5G大规模商用
扭矩传感器原理与应用知识
紫光展锐入局，更多5G模组解决方案推动5G物联网应用进入高速车道
氧化皮清洗机是一款可改善五金工具表面质量的设备
区块链发票是如何改变税收的
芯产品 | 匠心独具 动力升级 紫光推出KX-6000G平台新机