通过深度学习实现自动驾驶之车辆检测
在本文中，我将通过一个车辆检测示例，介绍如何使用深度学习创建目标检测器。相同步骤可用于创建任何目标检测器。
经常有朋友和同事问我，自动驾驶系统怎么感知周围环境并做出“人类”的决定？如何在系统中使用 matlab？在接下来的文章中，我将解释如何使用深度学习和 matlab 完成两种常见的自动驾驶感知任务。
目标检测是指在图像和视频中对目标进行定位和分类。
下图显示了一个三类车辆检测器的输出结果，检测器对每一种类型的车辆进行了定位和分类。
对不同类型车辆进行定位和分类的车辆检测器显示的输出结果
在创建车辆检测器之前，我需要一组标注的训练数据，这是一组用感兴趣目标的位置和标签标注的图像。更具体地说，是需要有人对每幅图像或视频帧进行筛选，并对所有感兴趣目标的位置进行标注。这个过程称为“真值标注”。
真值标注通常是创建目标检测器过程中最耗时的部分。下图左侧显示的是原始训练图像，右侧显示的是经过真值标注的相同图像。
原始输入图象（左）和经过地面实况标注的输入图象（右）
用于标注视频和图像数据的 ground truth labeler 屏幕截图
实现标注过程部分自动化的一种方法是使用跟踪算法。
我使用的kanadelucas tomasi算法（klt）是在实际应用中使用的第一种计算机视觉算法。klt 算法将目标表示为一组特征点，然后逐帧跟踪它们的移动位置。我们可以在第一帧中手动标注一个或多个目标，然后使用跟踪算法标注视频的其余部分。
ground truth labeler 还允许用户导入自己的算法进行自动化标注。
我见过的最常用的方法是，用户导入自己现有的检测器，再进行新数据标注，这可以帮助他们创建出更精确的检测器。下图演示了使用 ground truth labeler 标注一系列图像或视频的工作流程。
使用matlab进行自动真值标注的流程
标注数据最终以 table 格式存储，table 中列出了训练集视频中车辆在每个时间点的位置。真值标注完成后，我可以开始训练车辆检测器。
本例中，我估计真值标注过程最高可加速119倍。我们以每秒30帧的速度捕捉训练视频数据，每4秒对目标进行一次标注。这意味着我们将节省中间119帧的标注时间。当然这是最好的情况，因为我们有时还得花时间更正自动标注的输出结果。
我们的车辆检测器使用的是fasterr-cnn网络。首先，定义一个网络架构，如下面的matlab代码片段所示。faster r-cnn算法主要分析图像的区域，因此输入层比输入图像的预期尺寸要小。本例中，我选择了一个32x32像素的窗口。输入尺寸需要根据执行时间和希望检测器解析的空间细节进行衡量。
中间层是网络的核心构造块，具有重复的卷积层、relu 层和池化层。
本例中，我只会使用几个层。若要提高准确性，或者如果想要将更多的类并入检测器中，可以重复这些使用层，创建一个更深的网络。
cnn 的最后一层通常是一组全连接层和一个 softmax loss 层。
在本例中，我在全连接层之间添加了一个 relu 非线性层，用以提高检测器的性能，因为我们这个检测器的训练集并没有我想要的那么大。
为训练目标检测器，我将layers 网络结构输入trainfasterrcnnobjectdetector 函数。如果您安装了 gpu，算法会默认使用 gpu。如果不想使用 gpu 或者想使用多个 gpu，您可以在trainingoptions（训练选项）中调整executionenvironment参数。
完成训练之后，可以在测试图像上试一试，看看检测器是否正常工作。我使用下面的代码在单一图像上测试检测器。
faster r-cnn车辆检测器检测到的边界框和得分
若确信自己的检测器正常工作，我强烈建议您使用统计指标（例如，平均精度）在更大的一组验证图像集上进行测试。平均精度提供的单一分数可衡量检测器进行正确分类的能力（准确率）以及检测到所有相关对象的能力（召回率）。
深入分析深度学习三维重建的网络架构和训练技巧
史上最贵iPhone手机 苹果14大概多少钱
北斗终端、北斗短报文终端是什么？
SmartMesh IP产品的应用介绍
电子凭证试点持续扩围，百望云赋能企业财税数字升级
通过深度学习实现自动驾驶之车辆检测
ADC12QS065里用LVDS格式解决输出信号传输问题
运营商因为5G的到来有了什么改变
面对彩电市场的快速发展 企业必须拥有改革和创新的能力
通过物联网技术构成的车联网在电动车中的应用
Synaptics 携手英特尔和联想增强PC网络安全
通过自动限流调节保护您的集成式FET功率开关
接口中的modport连接模块都能看见什么
多功能食品安全检测仪 产品介绍
区块链产业园是什么？区块链产业园遍地开花湖南长沙也开园
感抗与容抗计算器
柔性印刷电路（FPC）使设计人员能够找到几种途径？
电容的单位换算和计算公式
深耕PCB设计,一博科技闯关创业板IPO
智慧旅游景区三维可视化综合运营平台
经常有朋友和同事问我，自动驾驶系统怎么感知周围环境并做出“人类”的决定？如何在系统中使用 matlab？在接下来的文章中，我将解释如何使用深度学习和 matlab 完成两种常见的自动驾驶感知任务。
目标检测是指在图像和视频中对目标进行定位和分类。
下图显示了一个三类车辆检测器的输出结果，检测器对每一种类型的车辆进行了定位和分类。
对不同类型车辆进行定位和分类的车辆检测器显示的输出结果
在创建车辆检测器之前，我需要一组标注的训练数据，这是一组用感兴趣目标的位置和标签标注的图像。更具体地说，是需要有人对每幅图像或视频帧进行筛选，并对所有感兴趣目标的位置进行标注。这个过程称为“真值标注”。
真值标注通常是创建目标检测器过程中最耗时的部分。下图左侧显示的是原始训练图像，右侧显示的是经过真值标注的相同图像。
原始输入图象（左）和经过地面实况标注的输入图象（右）
用于标注视频和图像数据的 ground truth labeler 屏幕截图
实现标注过程部分自动化的一种方法是使用跟踪算法。
我使用的kanadelucas tomasi算法（klt）是在实际应用中使用的第一种计算机视觉算法。klt 算法将目标表示为一组特征点，然后逐帧跟踪它们的移动位置。我们可以在第一帧中手动标注一个或多个目标，然后使用跟踪算法标注视频的其余部分。
ground truth labeler 还允许用户导入自己的算法进行自动化标注。
我见过的最常用的方法是，用户导入自己现有的检测器，再进行新数据标注，这可以帮助他们创建出更精确的检测器。下图演示了使用 ground truth labeler 标注一系列图像或视频的工作流程。
使用matlab进行自动真值标注的流程
标注数据最终以 table 格式存储，table 中列出了训练集视频中车辆在每个时间点的位置。真值标注完成后，我可以开始训练车辆检测器。
本例中，我估计真值标注过程最高可加速119倍。我们以每秒30帧的速度捕捉训练视频数据，每4秒对目标进行一次标注。这意味着我们将节省中间119帧的标注时间。当然这是最好的情况，因为我们有时还得花时间更正自动标注的输出结果。
我们的车辆检测器使用的是fasterr-cnn网络。首先，定义一个网络架构，如下面的matlab代码片段所示。faster r-cnn算法主要分析图像的区域，因此输入层比输入图像的预期尺寸要小。本例中，我选择了一个32x32像素的窗口。输入尺寸需要根据执行时间和希望检测器解析的空间细节进行衡量。
中间层是网络的核心构造块，具有重复的卷积层、relu 层和池化层。
本例中，我只会使用几个层。若要提高准确性，或者如果想要将更多的类并入检测器中，可以重复这些使用层，创建一个更深的网络。
cnn 的最后一层通常是一组全连接层和一个 softmax loss 层。
在本例中，我在全连接层之间添加了一个 relu 非线性层，用以提高检测器的性能，因为我们这个检测器的训练集并没有我想要的那么大。
为训练目标检测器，我将layers 网络结构输入trainfasterrcnnobjectdetector 函数。如果您安装了 gpu，算法会默认使用 gpu。如果不想使用 gpu 或者想使用多个 gpu，您可以在trainingoptions（训练选项）中调整executionenvironment参数。
完成训练之后，可以在测试图像上试一试，看看检测器是否正常工作。我使用下面的代码在单一图像上测试检测器。
faster r-cnn车辆检测器检测到的边界框和得分
若确信自己的检测器正常工作，我强烈建议您使用统计指标（例如，平均精度）在更大的一组验证图像集上进行测试。平均精度提供的单一分数可衡量检测器进行正确分类的能力（准确率）以及检测到所有相关对象的能力（召回率）。
深入分析深度学习三维重建的网络架构和训练技巧
史上最贵iPhone手机 苹果14大概多少钱
北斗终端、北斗短报文终端是什么？
SmartMesh IP产品的应用介绍
电子凭证试点持续扩围，百望云赋能企业财税数字升级
通过深度学习实现自动驾驶之车辆检测
ADC12QS065里用LVDS格式解决输出信号传输问题
运营商因为5G的到来有了什么改变
面对彩电市场的快速发展 企业必须拥有改革和创新的能力
通过物联网技术构成的车联网在电动车中的应用
Synaptics 携手英特尔和联想增强PC网络安全
通过自动限流调节保护您的集成式FET功率开关
接口中的modport连接模块都能看见什么
多功能食品安全检测仪 产品介绍
区块链产业园是什么？区块链产业园遍地开花湖南长沙也开园
感抗与容抗计算器
柔性印刷电路（FPC）使设计人员能够找到几种途径？
电容的单位换算和计算公式
深耕PCB设计,一博科技闯关创业板IPO
智慧旅游景区三维可视化综合运营平台