推动处理车辆传感器数据
现在还有许多其他人正在竞相处理所有这些车辆传感器数据。其中，东芝一直在发展其 visconti 图像识别处理器系列，以满足日益苛刻的欧洲新车评估计划 （euro ncap） 要求。
从 2014 年开始，euro ncap 开始根据主动安全技术对车辆进行评级，例如车道偏离警告 （ldw）、车道保持辅助 （lka） 和自动紧急制动 （aeb）。这些要求在 2016 年扩展到日间行人 aeb 和速度辅助系统 （sas）。2018 年，这些要求将进一步扩大，包括夜间行人 aeb，以及日间和夜间骑车人 aeb（图 1）。
图 1.欧洲新车评估计划 （euro ncap） 的要求近年来有所扩展，包括许多高级驾驶员辅助系统 （adas） 功能。
为了满足能够在白天和夜间环境中准确识别移动和静止物体的视觉系统的需求，东芝的 tmpv7608xbg visconti4 处理器等图像识别处理器采用了一套计算技术（图 2）。除了 cpu 和 dsp 之外，8 个硬件加速模块使设备能够高效地执行高度专业化的汽车计算机视觉 （cv） 工作负载，例如仿射变换（线性映射）、过滤、直方图、匹配和金字塔图像生成。
图 2. toshiba tmpv7608xbg visconti4 图像识别处理器利用 cpu、图像处理引擎 （dsp） 和图像处理加速器（硬件加速器）来计算一系列汽车计算机视觉 （cv） 工作负载。
tmpv7608xbg 上的两个新硬件加速模块专门解决了夜间和移动/静止物体检测的挑战：增强的定向梯度共现直方图 （cohog） 和运动结构 （sfm） 加速器。
对于夜间 adas 应用，增强型 cohog 加速器通过结合基于亮度和颜色的特征描述符来抵消物体与其周围环境之间的低对比度，从而超越了传统的模式识别。据东芝称，增强型 cohog 加速器不仅可以减少物体识别所需的时间，而且可以在夜间实现与白天一样可靠的行人检测。
同时，sfm 加速器使用来自单目相机的连续图像来开发高度、宽度和到对象距离的三维估计（图 3）。因此可以在没有任何学习曲线的情况下检测静止物体，并且可以应用运动分析和模式识别来检测运动物体，例如行人或车辆。由于 3d 信息减少了图像中的感兴趣区域，adas 系统能够更快地识别障碍物并做出反应。
图 3. tmpv7608xbg 的运动结构 （sfm） 加速器使用三维映射来检测静止和移动物体。
这些加速器与 tmpv7608xbg 的 dsp 子系统中的八个媒体处理引擎 （mpe） 一起运行，每个都配备双精度浮点单元 （fpu）。因此，该设备可以同时并行执行 8 个图像识别应用程序，响应时间为 50 毫秒。以 266.7 mhz 的时钟频率运行，与之前的 visconti 处理器相比，这意味着处理时间减少了 50%（图 5）。
图 5. tmpv7608xbg visconti4 处理器的性能与上一代 visconti 处理器相比，处理时间减少了 50%。
东芝公开的 visconti4 图像识别处理器设计中标包括 denso corporation 的基于前置摄像头的主动安全系统。
人工智能和自动驾驶对计算的需求
但图像处理只是当今汽车安全系统中的一块拼图。除了摄像头之外，现代 adas 应用和半自动车辆还依赖于雷达、激光雷达、接近传感器、gps、车联网 （v2x） 连接和其他有源组件的输入。来自所有这些输入的数据必须实时处理、分析和融合，以便在危险情况下迅速采取纠正措施。
人工智能 （ai） 似乎是在自动和半自动车辆用例中执行驾驶策略和做出实时决策的理想技术。然而，传统的基于云的 ai 实现不适合汽车安全应用，这主要是因为与数据传输相关的延迟，还因为隐私、安全、成本和网络覆盖问题。
作为替代方案，能够运行片上人工或深度神经网络 （ann/dnn） 的超级计算机级处理器正在被设计到特斯拉等汽车安全系统的电子控制单元 （ecu） 中。例如，nvidia 声称其 drive px pegasus 平台的变体将提供高达每秒 320 万亿次深度学习操作 （tops），这对于 5 级自动驾驶汽车来说已经足够了。
不幸的是，这些处理器也有其自身的挑战。除了相当大的功耗和单位成本外，这些芯片的裸片尺寸也很大（图 7）。如果将每年生产的大约 1 亿辆汽车中的每辆都考虑到一个这样的处理器，那么汽车市场的需求量将是目前为智能手机生产的芯片的三倍。这远远超过了当前的硅晶片制造能力。
图 7.虽然高性能处理器提供了运行片上神经网络以实现完全自动驾驶的计算能力，但目前生产它们所需的芯片尺寸超过了硅晶圆的制造能力。资料来源：英伟达和伯恩斯坦研究。
同样，dsp ip 模块提供的解决方案更适合嵌入式汽车用例，ceva 深度神经网络 （cdnn） 就是一个例子。cdnn 包括神经网络生成器、软件框架和硬件加速器，专为与 ceva-xm 成像和视觉 dsp 内核配合使用（图 8）。这里的价值主张是降低功耗、降低成本以及在整个系统设计中分配智能的能力。
图 8. ceva 深度神经网络 （cdnn） 是一个用于在嵌入式 dsp 上开发、生成和部署神经网络的工具包。
cdnn 的核心是像 ceva-xm6 这样的 dsp，它包括矢量和标量处理单元以及 3d 数据处理模式。矢量和标量处理单元使 -xm6 非常适合传感器数据融合，而其 3d 数据处理方案有助于加速神经网络性能（图 9）。在 cdnn 环境中，这些 dsp 配备一个或多个硬件加速器，在卷积神经网络 （cnn） 处理中每个周期提供 512 次乘法累加 （mac） 操作。所有其他神经网络层——任何类型或数量——都由 dsp 本身运行。
图 9.矢量和标量处理单元与 3d 数据处理方案相结合，使 ceva-xm6 dsp 非常适合汽车安全和人工智能工作负载。
但 cdnn 工具包的独特之处在于 ceva 网络生成器。网络生成器将在 caffe 和 tensorflow 等框架中开发的预训练神经网络转换为可以在嵌入式系统中运行的实时神经网络模型。从那里，第二代 cdnn 软件框架可用于应用程序调整。
据 ceva， inc. 称，cdnn 工具包处理 cnn 的速度比基于 gpu 的替代方案快四倍，能效提高 25 倍。该公司负责市场情报、投资者和公共关系的副总裁 richard kingston 表示，该技术目前在汽车领域获得了超过五项设计胜利，著名的合作伙伴是安森美半导体、nextchip 以及正在使用的一级汽车 oem它在完全自主的车辆设计中。
史上最贵华为P10到了！网友：华为的研发能力真不是吃素的！
海尔智家获“2021年度卓越责任上市公司”奖
赛灵思在超级计算大会上展示八倍加速及服务器
示波器不开机、重启故障排查步骤
智慧灯杆招标 | 广信投2022年度琶洲会展C片区
推动处理车辆传感器数据
利用RTSI总线实现运动控制和数据采集之间的同步
低浓度电解液对锂金属负极的影响及其相关机理
佘元博：机器学习在AMR中的应用价值
FPGA的下一代形态抢先看
小米MIX2什么时候上市？小米MIX2最新消息：小米MIUI9泄密，小米MIX2或将支持3D面部识别！
PCB线路板油墨特性及注意事项
特斯拉汽车创始人马斯克:人工智能“可能比核武器更危险”
谈物联网体验之前需要完成的四件事
MD-G601系列液压变送器能够满足不同场景的需求
提高污水流量计精度的方法有哪些
安全光栅的作用范围有多大
小白看过来，iPhone6升级iOS10.2的喜与悲！
美国银行正在通过使用人工智能来扭转这一传统
小米平板4Plus评测 值不值得买
从 2014 年开始，euro ncap 开始根据主动安全技术对车辆进行评级，例如车道偏离警告 （ldw）、车道保持辅助 （lka） 和自动紧急制动 （aeb）。这些要求在 2016 年扩展到日间行人 aeb 和速度辅助系统 （sas）。2018 年，这些要求将进一步扩大，包括夜间行人 aeb，以及日间和夜间骑车人 aeb（图 1）。
图 1.欧洲新车评估计划 （euro ncap） 的要求近年来有所扩展，包括许多高级驾驶员辅助系统 （adas） 功能。
为了满足能够在白天和夜间环境中准确识别移动和静止物体的视觉系统的需求，东芝的 tmpv7608xbg visconti4 处理器等图像识别处理器采用了一套计算技术（图 2）。除了 cpu 和 dsp 之外，8 个硬件加速模块使设备能够高效地执行高度专业化的汽车计算机视觉 （cv） 工作负载，例如仿射变换（线性映射）、过滤、直方图、匹配和金字塔图像生成。
图 2. toshiba tmpv7608xbg visconti4 图像识别处理器利用 cpu、图像处理引擎 （dsp） 和图像处理加速器（硬件加速器）来计算一系列汽车计算机视觉 （cv） 工作负载。
tmpv7608xbg 上的两个新硬件加速模块专门解决了夜间和移动/静止物体检测的挑战：增强的定向梯度共现直方图 （cohog） 和运动结构 （sfm） 加速器。
对于夜间 adas 应用，增强型 cohog 加速器通过结合基于亮度和颜色的特征描述符来抵消物体与其周围环境之间的低对比度，从而超越了传统的模式识别。据东芝称，增强型 cohog 加速器不仅可以减少物体识别所需的时间，而且可以在夜间实现与白天一样可靠的行人检测。
同时，sfm 加速器使用来自单目相机的连续图像来开发高度、宽度和到对象距离的三维估计（图 3）。因此可以在没有任何学习曲线的情况下检测静止物体，并且可以应用运动分析和模式识别来检测运动物体，例如行人或车辆。由于 3d 信息减少了图像中的感兴趣区域，adas 系统能够更快地识别障碍物并做出反应。
图 3. tmpv7608xbg 的运动结构 （sfm） 加速器使用三维映射来检测静止和移动物体。
这些加速器与 tmpv7608xbg 的 dsp 子系统中的八个媒体处理引擎 （mpe） 一起运行，每个都配备双精度浮点单元 （fpu）。因此，该设备可以同时并行执行 8 个图像识别应用程序，响应时间为 50 毫秒。以 266.7 mhz 的时钟频率运行，与之前的 visconti 处理器相比，这意味着处理时间减少了 50%（图 5）。
图 5. tmpv7608xbg visconti4 处理器的性能与上一代 visconti 处理器相比，处理时间减少了 50%。
东芝公开的 visconti4 图像识别处理器设计中标包括 denso corporation 的基于前置摄像头的主动安全系统。
人工智能和自动驾驶对计算的需求
但图像处理只是当今汽车安全系统中的一块拼图。除了摄像头之外，现代 adas 应用和半自动车辆还依赖于雷达、激光雷达、接近传感器、gps、车联网 （v2x） 连接和其他有源组件的输入。来自所有这些输入的数据必须实时处理、分析和融合，以便在危险情况下迅速采取纠正措施。
人工智能 （ai） 似乎是在自动和半自动车辆用例中执行驾驶策略和做出实时决策的理想技术。然而，传统的基于云的 ai 实现不适合汽车安全应用，这主要是因为与数据传输相关的延迟，还因为隐私、安全、成本和网络覆盖问题。
作为替代方案，能够运行片上人工或深度神经网络 （ann/dnn） 的超级计算机级处理器正在被设计到特斯拉等汽车安全系统的电子控制单元 （ecu） 中。例如，nvidia 声称其 drive px pegasus 平台的变体将提供高达每秒 320 万亿次深度学习操作 （tops），这对于 5 级自动驾驶汽车来说已经足够了。
不幸的是，这些处理器也有其自身的挑战。除了相当大的功耗和单位成本外，这些芯片的裸片尺寸也很大（图 7）。如果将每年生产的大约 1 亿辆汽车中的每辆都考虑到一个这样的处理器，那么汽车市场的需求量将是目前为智能手机生产的芯片的三倍。这远远超过了当前的硅晶片制造能力。
图 7.虽然高性能处理器提供了运行片上神经网络以实现完全自动驾驶的计算能力，但目前生产它们所需的芯片尺寸超过了硅晶圆的制造能力。资料来源：英伟达和伯恩斯坦研究。
同样，dsp ip 模块提供的解决方案更适合嵌入式汽车用例，ceva 深度神经网络 （cdnn） 就是一个例子。cdnn 包括神经网络生成器、软件框架和硬件加速器，专为与 ceva-xm 成像和视觉 dsp 内核配合使用（图 8）。这里的价值主张是降低功耗、降低成本以及在整个系统设计中分配智能的能力。
图 8. ceva 深度神经网络 （cdnn） 是一个用于在嵌入式 dsp 上开发、生成和部署神经网络的工具包。
cdnn 的核心是像 ceva-xm6 这样的 dsp，它包括矢量和标量处理单元以及 3d 数据处理模式。矢量和标量处理单元使 -xm6 非常适合传感器数据融合，而其 3d 数据处理方案有助于加速神经网络性能（图 9）。在 cdnn 环境中，这些 dsp 配备一个或多个硬件加速器，在卷积神经网络 （cnn） 处理中每个周期提供 512 次乘法累加 （mac） 操作。所有其他神经网络层——任何类型或数量——都由 dsp 本身运行。
图 9.矢量和标量处理单元与 3d 数据处理方案相结合，使 ceva-xm6 dsp 非常适合汽车安全和人工智能工作负载。
但 cdnn 工具包的独特之处在于 ceva 网络生成器。网络生成器将在 caffe 和 tensorflow 等框架中开发的预训练神经网络转换为可以在嵌入式系统中运行的实时神经网络模型。从那里，第二代 cdnn 软件框架可用于应用程序调整。
据 ceva， inc. 称，cdnn 工具包处理 cnn 的速度比基于 gpu 的替代方案快四倍，能效提高 25 倍。该公司负责市场情报、投资者和公共关系的副总裁 richard kingston 表示，该技术目前在汽车领域获得了超过五项设计胜利，著名的合作伙伴是安森美半导体、nextchip 以及正在使用的一级汽车 oem它在完全自主的车辆设计中。
史上最贵华为P10到了！网友：华为的研发能力真不是吃素的！
海尔智家获“2021年度卓越责任上市公司”奖
赛灵思在超级计算大会上展示八倍加速及服务器
示波器不开机、重启故障排查步骤
智慧灯杆招标 | 广信投2022年度琶洲会展C片区
推动处理车辆传感器数据
利用RTSI总线实现运动控制和数据采集之间的同步
低浓度电解液对锂金属负极的影响及其相关机理
佘元博：机器学习在AMR中的应用价值
FPGA的下一代形态抢先看
小米MIX2什么时候上市？小米MIX2最新消息：小米MIUI9泄密，小米MIX2或将支持3D面部识别！
PCB线路板油墨特性及注意事项
特斯拉汽车创始人马斯克:人工智能“可能比核武器更危险”
谈物联网体验之前需要完成的四件事
MD-G601系列液压变送器能够满足不同场景的需求
提高污水流量计精度的方法有哪些
安全光栅的作用范围有多大
小白看过来，iPhone6升级iOS10.2的喜与悲！
美国银行正在通过使用人工智能来扭转这一传统
小米平板4Plus评测 值不值得买