DRIVE Labs“常学常新”系列「第三站」：读懂交通标志与信号灯
drive labs 系列文章
第三站：读懂交通标志与信号灯
始
发
站
|
自
动
驾
驶
基
础
功
能
第
二
站
|
基
本
路
况
感
知
第
三
站
|
读
懂
交
通
标
志
与
信
号
灯
第
四
站
|
监
控
车
外
的
风
吹
草
动
第
五
站
|
提
高
道
路
状
况
的
可
见
性
第
六
站
|
基
于
洞
察
的
智
能
规
划
第
七
站
|
为
驾
乘
人
员
的
安
全
保
驾
护
航
终
点
站
|
寻
找
车
位
与
自
动
泊
车
城市道路设计纵横交错，自动驾驶汽车在保持车道行驶的同时，还需“理解”各类道路标志，并在行驶过程中“眼”观六路、随机应变，以保证道路交通秩序和行驶途中的安全性。drive labs“常学常新”系列是 nvidia drive 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 nvidia 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。
本期是第三期“读懂交通标志与信号灯”，将为大家介绍深度神经网络如何助力自动驾驶汽车“读懂”交通标志以及路上的文字、“判断”信号灯及限速标志，以实现有序行驶。
上期文章主要介绍了用于基本路况感知的深度神经网络（dnn），本期文章将紧接上期 dnn 的相关内容，介绍用于交通标志和信号灯判断的 lightnet dnn、signnet dnn 和 mapnet dnn 等内容。话不多说，赶紧与 nvidia 一起看看吧！
实况驾驶对自动驾驶汽车的“观察”和“理解”能力提出了更高的要求，不仅需要保证自身行驶的安全性，还需要遵守交通规则，根据交通标志和信号灯指示行驶，以维护有序交通秩序，构建安全的交通环境。
借助高精度 mapnet dnn
“观察”道路标记
ai 如何阅读路上的文字
车道线和道路边缘检测对于自动驾驶汽车的开发来说至关重要。车道线检测能够驱动诸如车道偏离警告之类的系统，从而避免让驾驶员偏离车道。自动驾驶汽车利用 lanenet dnn 可以检测车道线以保持安全、稳定的车道行驶。
但实况道路除车道线以外，还存在各式各样的道路标记（例如箭头或 stop 字样），路边还会设置各类的垂直地标（例如路标或灯杆）。为助力自动驾驶汽车“读懂”更多车道标记，nvidia 推动了 lanenet dnn 进一步发展，开发了新功能 mapnet dnn。观看以上视频，了解 mapnet dnn 模型如何实现道路标识和视觉地标的端到端检测。
像素级可视化的 mapnet dnn 检测结果，显示一个部分缺失的左转箭头标记。青色表示道路标记，深蓝色表示虚线车道线
mapnet dnn 延续了 lanenet dnn 的实况数据编码技术，创建了足够的冗余来保留丰富的车道线信息，并能够轻松扩展并保留任意形状的道路标记以及地标（例如杆子）的信息（以“垂直车道线”为例）。高精度 mapnet 还能在道路标记部分缺失或遇到道路裂缝、柏油污点等视觉挑战的情况下，提供精确的道路标记形状和道路边缘检测，并能够检测不同语言的道路文字标记。
此外，mapnet 提供的高精度道路标记和地标检测结果还可用作自动驾驶汽车的地图和定位功能的输入，其检测垂直地标（例如杆子）的能力还有利于自动驾驶汽车获得准确的纵向定位结果，提升自动驾驶的可靠性。
dnn 组合助力交通标志和信号灯检测
利用 ai 对交通标志和信号灯进行分类
每个人在最初学开车的时候都会从最简单的规则开始学起，其中之一就是“红灯停，绿灯行”，自动驾驶汽车也不例外。此外，它还要学习在各类驾驶环境下精准识别交通标志和信号灯并对其做出正确的反应。以上视频为大家介绍了 nvidia drive av 软件使用 dnn 组合来对交通标志和信号灯进行分类。
在 nvidia 感知等待条件软件的架构中，交通信号灯和标志的检测与交通信号灯的状态/形状以及类型分类是分开进行的，以便能够优化交通信号灯和标志检测的精确率/召回率，且能够让检测独立于性能分类运行。
交通信号灯（tl）以及交通标志（ts）分类系统图表
具体而言，nvidia 利用 waitnet dnn 进行交叉路口、交通信号灯和交通标志的检测。然后，lightnet dnn 将根据交通信号灯的形状（例如实心与箭头）和状态（即颜色：红色，黄色，绿色）进行分类；同时，signnet dnn 将会识别交通标志的类型。
以上两图显示了当速度限制从 80 千米/小时降至 60 千米/小时，signnet 对欧洲限速标志进行识别分类，以通过高速公路最后路段
lightnet 实时识别单个及组合的交通信号灯并对其进行分类
waitnet dnn 在上期内容中已经介绍过，这里就不再赘述。在本期视频中，可以看到 lightnet dnn 和 signnet dnn 的应用情况。总的来说，lightnet dnn、signnet dnn 与 waitnet dnn 共同构成了等待条件感知软件的核心，用于检测车辆必须减速停止或等待的情况，这对于半城市和城市环境中的自动驾驶而言尤为重要。
利用 ai 实时感知理解限速标志
ai 实时感知帮助自动驾驶汽车理解限速标志
限速标志识别看似是一项简单的任务，但在遇到不同车道具有不同限速的情况（例如高速公路出口）或者在一个陌生的国家驾驶时，这项任务可能会变得复杂。以上视频介绍了 ai 实时感知如何帮助自动驾驶汽车同时根据显性和隐性线索更好地理解复杂的限速情况。
如今，限速标志的细致程度远胜于以前。例如，学校区域的限速标志只在一天中的特定时段有效。有些限速要求会通过电子可变信息标志显示，包括显示适用于特定车道的限速、在特定条件下的限速或在不同条件下的不同限速。此外，部分交通标志也有可能包含限速信息且相近的标志直接可能会有语义的不同。
面对如此复杂的情况，nvidia 推出了 nvidia drive sas（速度辅助系统），通过各种能够检测和理解隐性、显性与可变信息标志的深度神经网络（dnn）充分发挥 ai 实时感知的力量。具体而言，nvidia waitnet 深度神经网络负责检测标志，signnet 深度神经网络负责对标志进行分类，pathnet 深度神经网络负责提供路径感知信息。因此，理解限速标志和确定该标志与道路上不同车道的相关性（这一过程被称为标志-路径关联性）所需的所有信号均来自现场感知，无需事先从地图中获取信息，因而具有很强的灵活性。
实时感知 sas 分析“高速公路入口”标志
此外，nvidia 的实时感知 sas 所提供的速度标志信息和标志-路径相关性信息可以与地图信息融合。通过将多样化的信息输入进行融合，可以使 sas 覆盖更多的现实世界情景，从而进一步提高稳定性。
以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅，下期我们将在此基础上为大家介绍 ai 如何助力摄像头、雷达、激光雷达等传感器监控车外的风吹草动，敬请期待！点击“阅读原文”，观看更多 nvidia drive labs & dispatch 视频，了解 nvidia drive 软件如何助力自动驾驶。
往期精彩回看
「入门篇」：自动驾驶基础功能
「第二站」：基本路况感知
扫描下方海报二维码，即可免费注册 gtc 23，切莫错过这场 ai 和元宇宙时代的技术大会！
原文标题：drive labs“常学常新”系列「第三站」：读懂交通标志与信号灯
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
Auditchain平台代币正准备通过区块链技术和智能合约链接
一文解读无刷电机在家用电器市场的四个应用
最后一搏！华为就5G设备进入美国要求美国联邦贸易委员会举行听证会
未来中国半导体业发展离开全球化也是不可成功的
数据库系统的特点
DRIVE Labs“常学常新”系列「第三站」：读懂交通标志与信号灯
IDC：数字经济步入快车道，企业未来竞争什么？
直流电机H桥驱动AiP6150H采用H桥电路结构设计，结合高可靠性功率管工艺，特别适合驱动线圈、马达等感性负载
工业路由器空压机远程监控系统方案
区块链技术进行数据存储可以实现吗
PCBA加工如何做好BGA返修?
详解多任务学习的方法与现实
数据资源可视化是什么？有什么好处？
智慧养殖中需要用到的那些传感器
科技正在影响汽车行业的未来
光纤的三种连接方式 常用的光纤连接器有哪些
丰田普锐斯上手体验评测
手持式地物光谱仪介绍
苹果升级不了ios15 苹果ios15支持哪些机型
基于DSP和FPGA芯片实现基带处理单元的设计方案
第三站：读懂交通标志与信号灯
始
发
站
|
自
动
驾
驶
基
础
功
能
第
二
站
|
基
本
路
况
感
知
第
三
站
|
读
懂
交
通
标
志
与
信
号
灯
第
四
站
|
监
控
车
外
的
风
吹
草
动
第
五
站
|
提
高
道
路
状
况
的
可
见
性
第
六
站
|
基
于
洞
察
的
智
能
规
划
第
七
站
|
为
驾
乘
人
员
的
安
全
保
驾
护
航
终
点
站
|
寻
找
车
位
与
自
动
泊
车
城市道路设计纵横交错，自动驾驶汽车在保持车道行驶的同时，还需“理解”各类道路标志，并在行驶过程中“眼”观六路、随机应变，以保证道路交通秩序和行驶途中的安全性。drive labs“常学常新”系列是 nvidia drive 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章，共分 8 期主题，将为大家详细解析自动驾驶汽车如何一路“过关斩将”，以及 nvidia 技术与产品在不同场景中提供的支持，以便读者能更好地了解自动驾驶。
本期是第三期“读懂交通标志与信号灯”，将为大家介绍深度神经网络如何助力自动驾驶汽车“读懂”交通标志以及路上的文字、“判断”信号灯及限速标志，以实现有序行驶。
上期文章主要介绍了用于基本路况感知的深度神经网络（dnn），本期文章将紧接上期 dnn 的相关内容，介绍用于交通标志和信号灯判断的 lightnet dnn、signnet dnn 和 mapnet dnn 等内容。话不多说，赶紧与 nvidia 一起看看吧！
实况驾驶对自动驾驶汽车的“观察”和“理解”能力提出了更高的要求，不仅需要保证自身行驶的安全性，还需要遵守交通规则，根据交通标志和信号灯指示行驶，以维护有序交通秩序，构建安全的交通环境。
借助高精度 mapnet dnn
“观察”道路标记
ai 如何阅读路上的文字
车道线和道路边缘检测对于自动驾驶汽车的开发来说至关重要。车道线检测能够驱动诸如车道偏离警告之类的系统，从而避免让驾驶员偏离车道。自动驾驶汽车利用 lanenet dnn 可以检测车道线以保持安全、稳定的车道行驶。
但实况道路除车道线以外，还存在各式各样的道路标记（例如箭头或 stop 字样），路边还会设置各类的垂直地标（例如路标或灯杆）。为助力自动驾驶汽车“读懂”更多车道标记，nvidia 推动了 lanenet dnn 进一步发展，开发了新功能 mapnet dnn。观看以上视频，了解 mapnet dnn 模型如何实现道路标识和视觉地标的端到端检测。
像素级可视化的 mapnet dnn 检测结果，显示一个部分缺失的左转箭头标记。青色表示道路标记，深蓝色表示虚线车道线
mapnet dnn 延续了 lanenet dnn 的实况数据编码技术，创建了足够的冗余来保留丰富的车道线信息，并能够轻松扩展并保留任意形状的道路标记以及地标（例如杆子）的信息（以“垂直车道线”为例）。高精度 mapnet 还能在道路标记部分缺失或遇到道路裂缝、柏油污点等视觉挑战的情况下，提供精确的道路标记形状和道路边缘检测，并能够检测不同语言的道路文字标记。
此外，mapnet 提供的高精度道路标记和地标检测结果还可用作自动驾驶汽车的地图和定位功能的输入，其检测垂直地标（例如杆子）的能力还有利于自动驾驶汽车获得准确的纵向定位结果，提升自动驾驶的可靠性。
dnn 组合助力交通标志和信号灯检测
利用 ai 对交通标志和信号灯进行分类
每个人在最初学开车的时候都会从最简单的规则开始学起，其中之一就是“红灯停，绿灯行”，自动驾驶汽车也不例外。此外，它还要学习在各类驾驶环境下精准识别交通标志和信号灯并对其做出正确的反应。以上视频为大家介绍了 nvidia drive av 软件使用 dnn 组合来对交通标志和信号灯进行分类。
在 nvidia 感知等待条件软件的架构中，交通信号灯和标志的检测与交通信号灯的状态/形状以及类型分类是分开进行的，以便能够优化交通信号灯和标志检测的精确率/召回率，且能够让检测独立于性能分类运行。
交通信号灯（tl）以及交通标志（ts）分类系统图表
具体而言，nvidia 利用 waitnet dnn 进行交叉路口、交通信号灯和交通标志的检测。然后，lightnet dnn 将根据交通信号灯的形状（例如实心与箭头）和状态（即颜色：红色，黄色，绿色）进行分类；同时，signnet dnn 将会识别交通标志的类型。
以上两图显示了当速度限制从 80 千米/小时降至 60 千米/小时，signnet 对欧洲限速标志进行识别分类，以通过高速公路最后路段
lightnet 实时识别单个及组合的交通信号灯并对其进行分类
waitnet dnn 在上期内容中已经介绍过，这里就不再赘述。在本期视频中，可以看到 lightnet dnn 和 signnet dnn 的应用情况。总的来说，lightnet dnn、signnet dnn 与 waitnet dnn 共同构成了等待条件感知软件的核心，用于检测车辆必须减速停止或等待的情况，这对于半城市和城市环境中的自动驾驶而言尤为重要。
利用 ai 实时感知理解限速标志
ai 实时感知帮助自动驾驶汽车理解限速标志
限速标志识别看似是一项简单的任务，但在遇到不同车道具有不同限速的情况（例如高速公路出口）或者在一个陌生的国家驾驶时，这项任务可能会变得复杂。以上视频介绍了 ai 实时感知如何帮助自动驾驶汽车同时根据显性和隐性线索更好地理解复杂的限速情况。
如今，限速标志的细致程度远胜于以前。例如，学校区域的限速标志只在一天中的特定时段有效。有些限速要求会通过电子可变信息标志显示，包括显示适用于特定车道的限速、在特定条件下的限速或在不同条件下的不同限速。此外，部分交通标志也有可能包含限速信息且相近的标志直接可能会有语义的不同。
面对如此复杂的情况，nvidia 推出了 nvidia drive sas（速度辅助系统），通过各种能够检测和理解隐性、显性与可变信息标志的深度神经网络（dnn）充分发挥 ai 实时感知的力量。具体而言，nvidia waitnet 深度神经网络负责检测标志，signnet 深度神经网络负责对标志进行分类，pathnet 深度神经网络负责提供路径感知信息。因此，理解限速标志和确定该标志与道路上不同车道的相关性（这一过程被称为标志-路径关联性）所需的所有信号均来自现场感知，无需事先从地图中获取信息，因而具有很强的灵活性。
实时感知 sas 分析“高速公路入口”标志
此外，nvidia 的实时感知 sas 所提供的速度标志信息和标志-路径相关性信息可以与地图信息融合。通过将多样化的信息输入进行融合，可以使 sas 覆盖更多的现实世界情景，从而进一步提高稳定性。
以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅，下期我们将在此基础上为大家介绍 ai 如何助力摄像头、雷达、激光雷达等传感器监控车外的风吹草动，敬请期待！点击“阅读原文”，观看更多 nvidia drive labs & dispatch 视频，了解 nvidia drive 软件如何助力自动驾驶。
往期精彩回看
「入门篇」：自动驾驶基础功能
「第二站」：基本路况感知
扫描下方海报二维码，即可免费注册 gtc 23，切莫错过这场 ai 和元宇宙时代的技术大会！
原文标题：drive labs“常学常新”系列「第三站」：读懂交通标志与信号灯
文章出处：【微信公众号：nvidia英伟达】欢迎添加关注！文章转载请注明出处。
Auditchain平台代币正准备通过区块链技术和智能合约链接
一文解读无刷电机在家用电器市场的四个应用
最后一搏！华为就5G设备进入美国要求美国联邦贸易委员会举行听证会
未来中国半导体业发展离开全球化也是不可成功的
数据库系统的特点
DRIVE Labs“常学常新”系列「第三站」：读懂交通标志与信号灯
IDC：数字经济步入快车道，企业未来竞争什么？
直流电机H桥驱动AiP6150H采用H桥电路结构设计，结合高可靠性功率管工艺，特别适合驱动线圈、马达等感性负载
工业路由器空压机远程监控系统方案
区块链技术进行数据存储可以实现吗
PCBA加工如何做好BGA返修?
详解多任务学习的方法与现实
数据资源可视化是什么？有什么好处？
智慧养殖中需要用到的那些传感器
科技正在影响汽车行业的未来
光纤的三种连接方式 常用的光纤连接器有哪些
丰田普锐斯上手体验评测
手持式地物光谱仪介绍
苹果升级不了ios15 苹果ios15支持哪些机型
基于DSP和FPGA芯片实现基带处理单元的设计方案