PathPartner利用4D成像雷达和摄像头融合技术开发出一款DMS的扩展系统
据麦姆斯咨询介绍，随着全球汽车制造商开发出更多配备level 2或更高级别自动驾驶功能（但仍不能忽视人工监督）的车辆，汽车产业对车内监控系统的需求越来越多。车内监控系统的设计目的主要是关注驾驶员行为，确保他们能够集中注意力，并在需要时收回对自动驾驶汽车的控制权。
全球汽车制造商采用的一个解决方案是在他们的车辆上增加一套驾驶员监控系统（dms）。近期，pathpartner利用4d成像雷达和摄像头融合技术开发出一款dms的扩展系统——乘客监控系统（oms），进一步提升了安全性、舒适性和便捷性。
pathpartner成立于2006年，是一家专业的产品工程服务公司，为汽车、消费电子、通信、医疗和物联网领域的客户提供从概念到量产的服务。通过围绕深度学习、计算机视觉、多媒体、图像和物联网构建的创新技术，为客户解决了复杂的业务挑战，加快产品上市时间。pathpartner的业务遍及全球，在印度班加罗尔和科钦、德国法兰克福和美国硅谷设有研发中心。
pathpartner负责研发的副总裁vinay mk表示：“将摄像头和毫米波雷达结合在一起，可以在低光、嘈杂的环境下显著提高检测精度。我们采用的摄像头具有近红外照明，可以在不同的照明条件下实现可靠的性能。”
4d成像雷达如何工作？
4d成像雷达代表着下一代毫米波雷达技术。它的工作原理类似具有闪光灯的照相机，在拍摄前利用毫米波（一种不可见的电磁波）瞬间照射目标物体。在传统照相机中，闪光灯发射出可见光，以实现在低光照条件下的目标捕捉。而4d成像雷达则通过天线接收毫米波，使用静态随机存取存储器（sram）记录目标图像。
4d成像雷达探测目标的图像犹如“点云”，可显示车辆中人员或物体的尺寸、形状、位置和移动等信息。从这些雷达图像中，可以利用深度学习算法来识别它们是什么。当作为驾驶员或乘客监控系统的一部分时，pathpartner的4d成像雷达技术可用于检测汽车内部的细微运动，甚至是人和动物的呼吸，例如在毛毯下熟睡的儿童或有宠物的地方。
三种类型的汽车雷达系统
汽车雷达系统可以根据探测范围分为三种类型：近程雷达、中程雷达、远程雷达。例如，近程雷达可以探测到距离车辆30米远的物体。近程雷达通常放置在车辆的后角，以支持盲点检测、追尾警告、交叉路口警报和泊车辅助。
中程雷达探测30米至80米范围内的目标物体，远程雷达探测距离大于80米的目标物体。远程雷达用于汽车安全系统，如自动紧急制动（aeb）和自适应巡航控制（acc）。
pathparter驾驶员和乘客监控系统中使用的毫米波雷达具有较小的波长、更高的分辨率和精度，因此能够更好地区分两个目标。这款毫米波雷达由于其体积小、性能强劲，获得汽车制造商的青睐。
pathpartner驾驶员和乘客监控系统
基于毫米波雷达的驾驶员和乘客监控
我们与pathpartner负责研发的副总裁vinay mk进行了更深入的交流，他进一步解释了公司在驾驶员和乘客监控系统中使用的底层技术。他还解释了基于摄像头的监控和使用4d成像雷达的监控之间的主要区别。
vinay mk介绍说：“基于摄像头的监控系统可以检测到安全带的正确使用和乘客的身高，这两项都是安全气囊正确打开的关键要素。基于摄像头的监控系统可以用来监控驾驶员的活动，比如抽烟、打电话、吃饭、喝酒、玩手机、分心、睡觉等，它还可以探测到某些物体的存在，例如空的婴儿座椅、悬挂的外套等。”
“4d成像雷达系统可以在低光照条件下完美地补充基于摄像头的监控系统。”vinay mk表示，“60ghz成像雷达系统有足够的分辨率来探测婴儿和成人呼吸频率的差异。结合摄像头和成像雷达的数据，在低光照条件下可以显著提高检测精度。”
“如果婴儿在被毛毯覆盖的婴儿座椅之中，那么只有通过毫米波雷达系统才有可能探测并识别。”vinay mk说，“在驾驶员和乘客监控系统中使用4d成像雷达的一个主要原因是准确检测停放车辆中的小孩。”
根据一份美国国家安全委员会报告称，每年平均有39名15岁以下的小孩在被遗留在车内后死于中暑。因此，美国国会于2019年制定了《hot cars act》法案，要求美国交通运输部（dot）强制要求所有新车配备儿童存在检测系统，例如pathpartner开发的驾驶员和乘客监控系统。
为了满足汽车制造商的处理需求，pathpartner驾驶员和乘客监控算法已被移植到nextchip的apache4上。apache4是一款用于汽车高级辅助驾驶系统（adas）视觉系统的预处理器。据nextchip称，apache4包括专用的图像处理加速器子系统和优化的软件，可以减少多达70%的计算需求。
nextchip预处理器apache4
vinay mk说：“apache4预处理器以高度集成的方式提供先进图像处理。与传统基于向量的分类器相比，其先进的算法可提供更高的检测率，使其成为欧洲ncap大众市场采用的非常经济实惠的驾驶员和乘客监控解决方案。”
据麦姆斯咨询此前报道，全球领先的芯片制造商高通（qualcomm）与pathpartner展开合作，并在2019年ces上展出的概念车中集成了pathpartner驾驶员和乘客监控系统，引起了广泛关注。今年1月，pathpartner宣布推出基于高通qcs605片上系统（soc）的pt605模组和智能相机参考设计套件。
pathpartner驾驶员和乘客监控系统是围绕多个小型卷积神经网络（cnn）模型与自适应机器学习模块结合而设计的。该公司表示，由于采用了这种混合架构，4d成像雷达技术可以利用高通提供的dsp，以非常低的占用空间处理60帧/秒的数据。
pathpartner表示，其高性能pt605模组和智能相机参考设计套件与公司的设备工程服务相结合，还使设备制造商能够满足汽车行业以外对4d成像雷达日益增长的需求，包括对支持人工智能的摄像头和物联网设备的需求。
“我们的摄像头具有近红外照明，可在不同的照明条件下实现可靠的性能。摄像头模块和处理单元通过高端汽车级fakra连接器连接，提供安装灵活性和小外形尺寸摄像头。”vinay mk介绍说。
fakra（fachkreis automobil）是由德国开发的汽车级连接器的行业标准，可以在高达6ghz的频率下运行，并且具有很高的可靠性。这些类型的连接器通常用于连接无线成像和视频设备。
vinay mk继续说：“美国硅谷公司cadence提供的硬件也支持我们的驾驶员和乘客监控系统。cadence是一家高性能dsp和卷积神经网络（cnn）加速器供应商，在汽车处理器方面取得了成功。通过将我们的驾驶员和乘客监控算法和模型移植到cadence处理器上，我们已经为汽车原始设备制造商（oem）做好了试验准备。”
cadence的tensilica vision dsp成像产品（pathpartner驾驶员和乘客监控系统已经采用）旨在运行用于成像和计算视觉的复杂算法，包括目标对象和人脸的识别与跟踪、低光图像增强、数字缩放、手势识别等。tensilica系列还为运行ai驱动的软件提供出色的性能，这也是pathpartner选择它的另一个原因。
pathpartner强大的驾驶员和乘客监控机器学习算法也在英特尔（intel）apollo lake处理器以及恩智浦（nxp）imx8x汽车级处理器上进行了应用展示。
vinay mk在去年的一次采访中对《汽车新闻》杂志说道：“我们的驾驶员和乘客监控系统正被部署在印度班加罗尔的卡车和货车上。由于能够在1.2ghz四核处理器上移植计算密集型算法，我们得到了来自汽车tier 1厂商的令人鼓舞的反馈。”
在自动驾驶汽车能够在没有人为干预的情况下安全地驾驶车辆之前（预计还有很多年），pathpartner等公司正在制定有效的解决方案，以确保车辆处于自动驾驶模式下运行时，监控驾驶员行为，同时防止儿童或宠物无意中被遗弃在车里。
根据market insights展望，长期来看，驾驶员和乘客监控系统的需求在汽车行业将大幅增长，特别是如果通过法规要求所有乘用车都需要安装驾驶员监控系统，例如美国销售的乘用车都必须配备安全气囊（驾驶员和乘客都需要）和倒车摄像头。
pathpartner还与一家领先的汽车tier 1供应商建立了战略伙伴关系，该供应商的重点是在移动领域开发先进的视觉系统。pathparter拒绝在现阶段透露该公司名称。不过，vinay mk证实，两家公司正在共同开发一款基于摄像头和毫米波雷达的驾驶员和乘客监控ecu，以支持系统的处理要求。“我们继续与汽车tier 1供应商合作，并在适当的时候披露他们的名称。”vinay mk介绍说，“pathpartner的战略合作伙伴将在汽车级ecu上集成其乘员监控系统（oms）和驾驶员监控系统（dms）算法。”
ai应用：利用边缘计算代替云计算
pathpartner还使用边缘计算来处理传感器数据，而不是将数据发送到云服务进行处理，因为这会增加延迟。对于汽车行业，边缘计算可以提供更高的安全级别，并减少对蜂窝网络传输数据的依赖——对于安全性至关重要的汽车系统而言，这种方法并不总是足够可靠。
pathpartner营销、业务开发和销售副总裁ramshisor korada解释说：“由于对数据隐私、通信延迟和不可靠连接的担忧日益增加，将ai工作负载从云转移到设备上的情况正在上升。”设备制造商正在拥抱这一改变，并带来智能物联网设备的下一波创新，例如用于视频监控、仪表板摄像头、无人机、视频会议等。”
当然，驾驶员监控系统与现有汽车adas集成还面临着一些挑战。因为驾驶员监控系统需要与汽车的其他控制系统（包括制动和转向系统）以及ai动力感知系统进行一定程度的集成设计，从而真正实现“人车合一“。
除了开发驾驶员和乘客监控系统，pathpartner还为所有主要的汽车tier 1供应商提供先进的软件集成、验证和测试服务。该公司最近获得了一家欧洲tier 1供应商的车内占用检测系统的投产订单。
vinay mk预测，汽车行业的首要重点将是低成本集成驾驶员监控系统，它可以处理大多数监控条件。对于汽车制造商来说，需要在性能和成本之间进行权衡。他还预测，由于成本的原因，大规模部署的首款驾驶员监控系统甚至可能不支持视线检测。vinay mk还表示：“像我们这样的初创公司专注于先进的功能和复杂的模型，也必须经历很长的孕育期。”
英特尔开启智能付款新模式
美国纳斯达克证券交易所将推出比特币期货合约
小米年度旗舰来袭：小米电视4国内发布时间曝光 锁定5月18日
R15星云特别版再现OPPO极致工艺_夏最“火”时尚配色手机现已开售
听诺基亚负责人Jane Ryggard，谈5G时代将有哪些杀手级应用
PathPartner利用4D成像雷达和摄像头融合技术开发出一款DMS的扩展系统
iOS11Beta5值得升级吗?iOS11 Beta5评测:系统流畅性大幅提升,修复BUG
聚焦 | 新技术“红”不过十年?半监督学习却成例外?
腾讯红魔游戏手机6即将正式发布 拥有独创TC补帧技术2.0
湖北移动部署的约7万个4G基站有效地降低了网络能耗
什么是视觉AI，基于视觉AI的电梯智能摄像头
【试验机老二】卧式LED灯珠推拉力机有哪些生产商？
云存储与普通存储方式的优劣对比分析
励磁和永磁的区别详解
智能门锁如何上网，联网门锁的优点是什么
数字时代：关于数据可视化的定义/优势及示例
SystemVerilog中的package
利用多端口存储器双口RAM和FIFO实现多机系统的设计
2019年物联网将在人工智能中不断发展 逐渐融为一体
小米8SE评测 1799元的售价才是让人下单的最后一锤
全球汽车制造商采用的一个解决方案是在他们的车辆上增加一套驾驶员监控系统（dms）。近期，pathpartner利用4d成像雷达和摄像头融合技术开发出一款dms的扩展系统——乘客监控系统（oms），进一步提升了安全性、舒适性和便捷性。
pathpartner成立于2006年，是一家专业的产品工程服务公司，为汽车、消费电子、通信、医疗和物联网领域的客户提供从概念到量产的服务。通过围绕深度学习、计算机视觉、多媒体、图像和物联网构建的创新技术，为客户解决了复杂的业务挑战，加快产品上市时间。pathpartner的业务遍及全球，在印度班加罗尔和科钦、德国法兰克福和美国硅谷设有研发中心。
pathpartner负责研发的副总裁vinay mk表示：“将摄像头和毫米波雷达结合在一起，可以在低光、嘈杂的环境下显著提高检测精度。我们采用的摄像头具有近红外照明，可以在不同的照明条件下实现可靠的性能。”
4d成像雷达如何工作？
4d成像雷达代表着下一代毫米波雷达技术。它的工作原理类似具有闪光灯的照相机，在拍摄前利用毫米波（一种不可见的电磁波）瞬间照射目标物体。在传统照相机中，闪光灯发射出可见光，以实现在低光照条件下的目标捕捉。而4d成像雷达则通过天线接收毫米波，使用静态随机存取存储器（sram）记录目标图像。
4d成像雷达探测目标的图像犹如“点云”，可显示车辆中人员或物体的尺寸、形状、位置和移动等信息。从这些雷达图像中，可以利用深度学习算法来识别它们是什么。当作为驾驶员或乘客监控系统的一部分时，pathpartner的4d成像雷达技术可用于检测汽车内部的细微运动，甚至是人和动物的呼吸，例如在毛毯下熟睡的儿童或有宠物的地方。
三种类型的汽车雷达系统
汽车雷达系统可以根据探测范围分为三种类型：近程雷达、中程雷达、远程雷达。例如，近程雷达可以探测到距离车辆30米远的物体。近程雷达通常放置在车辆的后角，以支持盲点检测、追尾警告、交叉路口警报和泊车辅助。
中程雷达探测30米至80米范围内的目标物体，远程雷达探测距离大于80米的目标物体。远程雷达用于汽车安全系统，如自动紧急制动（aeb）和自适应巡航控制（acc）。
pathparter驾驶员和乘客监控系统中使用的毫米波雷达具有较小的波长、更高的分辨率和精度，因此能够更好地区分两个目标。这款毫米波雷达由于其体积小、性能强劲，获得汽车制造商的青睐。
pathpartner驾驶员和乘客监控系统
基于毫米波雷达的驾驶员和乘客监控
我们与pathpartner负责研发的副总裁vinay mk进行了更深入的交流，他进一步解释了公司在驾驶员和乘客监控系统中使用的底层技术。他还解释了基于摄像头的监控和使用4d成像雷达的监控之间的主要区别。
vinay mk介绍说：“基于摄像头的监控系统可以检测到安全带的正确使用和乘客的身高，这两项都是安全气囊正确打开的关键要素。基于摄像头的监控系统可以用来监控驾驶员的活动，比如抽烟、打电话、吃饭、喝酒、玩手机、分心、睡觉等，它还可以探测到某些物体的存在，例如空的婴儿座椅、悬挂的外套等。”
“4d成像雷达系统可以在低光照条件下完美地补充基于摄像头的监控系统。”vinay mk表示，“60ghz成像雷达系统有足够的分辨率来探测婴儿和成人呼吸频率的差异。结合摄像头和成像雷达的数据，在低光照条件下可以显著提高检测精度。”
“如果婴儿在被毛毯覆盖的婴儿座椅之中，那么只有通过毫米波雷达系统才有可能探测并识别。”vinay mk说，“在驾驶员和乘客监控系统中使用4d成像雷达的一个主要原因是准确检测停放车辆中的小孩。”
根据一份美国国家安全委员会报告称，每年平均有39名15岁以下的小孩在被遗留在车内后死于中暑。因此，美国国会于2019年制定了《hot cars act》法案，要求美国交通运输部（dot）强制要求所有新车配备儿童存在检测系统，例如pathpartner开发的驾驶员和乘客监控系统。
为了满足汽车制造商的处理需求，pathpartner驾驶员和乘客监控算法已被移植到nextchip的apache4上。apache4是一款用于汽车高级辅助驾驶系统（adas）视觉系统的预处理器。据nextchip称，apache4包括专用的图像处理加速器子系统和优化的软件，可以减少多达70%的计算需求。
nextchip预处理器apache4
vinay mk说：“apache4预处理器以高度集成的方式提供先进图像处理。与传统基于向量的分类器相比，其先进的算法可提供更高的检测率，使其成为欧洲ncap大众市场采用的非常经济实惠的驾驶员和乘客监控解决方案。”
据麦姆斯咨询此前报道，全球领先的芯片制造商高通（qualcomm）与pathpartner展开合作，并在2019年ces上展出的概念车中集成了pathpartner驾驶员和乘客监控系统，引起了广泛关注。今年1月，pathpartner宣布推出基于高通qcs605片上系统（soc）的pt605模组和智能相机参考设计套件。
pathpartner驾驶员和乘客监控系统是围绕多个小型卷积神经网络（cnn）模型与自适应机器学习模块结合而设计的。该公司表示，由于采用了这种混合架构，4d成像雷达技术可以利用高通提供的dsp，以非常低的占用空间处理60帧/秒的数据。
pathpartner表示，其高性能pt605模组和智能相机参考设计套件与公司的设备工程服务相结合，还使设备制造商能够满足汽车行业以外对4d成像雷达日益增长的需求，包括对支持人工智能的摄像头和物联网设备的需求。
“我们的摄像头具有近红外照明，可在不同的照明条件下实现可靠的性能。摄像头模块和处理单元通过高端汽车级fakra连接器连接，提供安装灵活性和小外形尺寸摄像头。”vinay mk介绍说。
fakra（fachkreis automobil）是由德国开发的汽车级连接器的行业标准，可以在高达6ghz的频率下运行，并且具有很高的可靠性。这些类型的连接器通常用于连接无线成像和视频设备。
vinay mk继续说：“美国硅谷公司cadence提供的硬件也支持我们的驾驶员和乘客监控系统。cadence是一家高性能dsp和卷积神经网络（cnn）加速器供应商，在汽车处理器方面取得了成功。通过将我们的驾驶员和乘客监控算法和模型移植到cadence处理器上，我们已经为汽车原始设备制造商（oem）做好了试验准备。”
cadence的tensilica vision dsp成像产品（pathpartner驾驶员和乘客监控系统已经采用）旨在运行用于成像和计算视觉的复杂算法，包括目标对象和人脸的识别与跟踪、低光图像增强、数字缩放、手势识别等。tensilica系列还为运行ai驱动的软件提供出色的性能，这也是pathpartner选择它的另一个原因。
pathpartner强大的驾驶员和乘客监控机器学习算法也在英特尔（intel）apollo lake处理器以及恩智浦（nxp）imx8x汽车级处理器上进行了应用展示。
vinay mk在去年的一次采访中对《汽车新闻》杂志说道：“我们的驾驶员和乘客监控系统正被部署在印度班加罗尔的卡车和货车上。由于能够在1.2ghz四核处理器上移植计算密集型算法，我们得到了来自汽车tier 1厂商的令人鼓舞的反馈。”
在自动驾驶汽车能够在没有人为干预的情况下安全地驾驶车辆之前（预计还有很多年），pathpartner等公司正在制定有效的解决方案，以确保车辆处于自动驾驶模式下运行时，监控驾驶员行为，同时防止儿童或宠物无意中被遗弃在车里。
根据market insights展望，长期来看，驾驶员和乘客监控系统的需求在汽车行业将大幅增长，特别是如果通过法规要求所有乘用车都需要安装驾驶员监控系统，例如美国销售的乘用车都必须配备安全气囊（驾驶员和乘客都需要）和倒车摄像头。
pathpartner还与一家领先的汽车tier 1供应商建立了战略伙伴关系，该供应商的重点是在移动领域开发先进的视觉系统。pathparter拒绝在现阶段透露该公司名称。不过，vinay mk证实，两家公司正在共同开发一款基于摄像头和毫米波雷达的驾驶员和乘客监控ecu，以支持系统的处理要求。“我们继续与汽车tier 1供应商合作，并在适当的时候披露他们的名称。”vinay mk介绍说，“pathpartner的战略合作伙伴将在汽车级ecu上集成其乘员监控系统（oms）和驾驶员监控系统（dms）算法。”
ai应用：利用边缘计算代替云计算
pathpartner还使用边缘计算来处理传感器数据，而不是将数据发送到云服务进行处理，因为这会增加延迟。对于汽车行业，边缘计算可以提供更高的安全级别，并减少对蜂窝网络传输数据的依赖——对于安全性至关重要的汽车系统而言，这种方法并不总是足够可靠。
pathpartner营销、业务开发和销售副总裁ramshisor korada解释说：“由于对数据隐私、通信延迟和不可靠连接的担忧日益增加，将ai工作负载从云转移到设备上的情况正在上升。”设备制造商正在拥抱这一改变，并带来智能物联网设备的下一波创新，例如用于视频监控、仪表板摄像头、无人机、视频会议等。”
当然，驾驶员监控系统与现有汽车adas集成还面临着一些挑战。因为驾驶员监控系统需要与汽车的其他控制系统（包括制动和转向系统）以及ai动力感知系统进行一定程度的集成设计，从而真正实现“人车合一“。
除了开发驾驶员和乘客监控系统，pathpartner还为所有主要的汽车tier 1供应商提供先进的软件集成、验证和测试服务。该公司最近获得了一家欧洲tier 1供应商的车内占用检测系统的投产订单。
vinay mk预测，汽车行业的首要重点将是低成本集成驾驶员监控系统，它可以处理大多数监控条件。对于汽车制造商来说，需要在性能和成本之间进行权衡。他还预测，由于成本的原因，大规模部署的首款驾驶员监控系统甚至可能不支持视线检测。vinay mk还表示：“像我们这样的初创公司专注于先进的功能和复杂的模型，也必须经历很长的孕育期。”
英特尔开启智能付款新模式
美国纳斯达克证券交易所将推出比特币期货合约
小米年度旗舰来袭：小米电视4国内发布时间曝光 锁定5月18日
R15星云特别版再现OPPO极致工艺_夏最“火”时尚配色手机现已开售
听诺基亚负责人Jane Ryggard，谈5G时代将有哪些杀手级应用
PathPartner利用4D成像雷达和摄像头融合技术开发出一款DMS的扩展系统
iOS11Beta5值得升级吗?iOS11 Beta5评测:系统流畅性大幅提升,修复BUG
聚焦 | 新技术“红”不过十年?半监督学习却成例外?
腾讯红魔游戏手机6即将正式发布 拥有独创TC补帧技术2.0
湖北移动部署的约7万个4G基站有效地降低了网络能耗
什么是视觉AI，基于视觉AI的电梯智能摄像头
【试验机老二】卧式LED灯珠推拉力机有哪些生产商？
云存储与普通存储方式的优劣对比分析
励磁和永磁的区别详解
智能门锁如何上网，联网门锁的优点是什么
数字时代：关于数据可视化的定义/优势及示例
SystemVerilog中的package
利用多端口存储器双口RAM和FIFO实现多机系统的设计
2019年物联网将在人工智能中不断发展 逐渐融为一体
小米8SE评测 1799元的售价才是让人下单的最后一锤