Nauto的“ADAS+DMS”的融合模型
随着dms即将广泛采用，初创公司nauto看到了一个机会，通过融合舱外和舱内摄像头的数据，将其ai算法出售给oem。nauto是否真的在正确的时间推出了正确的技术呢？
许多车厂已经在多款车型上采用了adas，搭载多个摄像头。同时，车厂也在搭载dms，用摄像头监控车内人类驾驶员的行为。
但这两个系统从来都不是一起工作的。adas和dms由不同的供应商开发，两个系统间的数据也无法互相关联（虽然说的不是一回事，但我总是能想起小鹏车主下跪刷脸是怎么回事……）。
加州palo alto的初创公司nauto，希望改变这一情况。通过一个平台，融合车辆外部和内部生成的数据，nauto相信它将有助于提升道路与驾驶安全。
nauto的创始人兼ceo stefan heck解释说，“消费者反馈显示，许多驾驶员对adas或dms经常发出的误报感到恼火。这代表行业还没有做对这一点。”
数据融合
从2015年起，nauto就一直在用舱内摄像头监控商业车队驾驶员的行为。同时，nauto也一直用舱外摄像头监控道路。这项研究收集了有关行人、骑自行车的人和其他车辆行为的知识。它捕获了许多险些发生、紧急避险和高风险事件的场景。
通过结合舱外和舱内摄像头的数据，nauto看到了驾驶员分心行为和道路上实时发生的风险之间的关联。该公司表示，它已经分析了“数十亿的数据点”，并开发了“可以预测、防止和减少高风险事件的算法。”
800个车队
当heck创立nauto时，科技行业对完全自动驾驶汽车（av）充满了期待。当时人们都在预测，av的大量涌现意味着计算机驾驶员不仅将取代人类出租车和卡车司机，而且还会使街道更加安全。
与众不同的是，heck一直专注于帮助人们更好地驾驶，而不是取代他们。nauto表示，其原始使命是为期八年，目的是为车队驾驶员提供预防碰撞的能力。
将nauto与大多数其他av初创公司区分开来的是两种商业实践：首先，与商业车队服务运营商建立合作关系；其次，专注于后市场以启动nauto平台的部署。
heck说，最初，nauto强调的是舱内发生的场景。但在这个过程中，nauto也收集了舱外的风险数据，例如追尾、斑马线上的行人、信号灯和停车标识。
在开发ai算法来预测高风险事件时，nauto采用了基于深度学习的方法，使用从800个商业车队收集的数据。heck估计，800个车队相当于200，000名司机，车辆总数稍微少一些。
nauto 学到了什么？
对于从200，000名车队驾驶员收集的数据，heck说，“所有碰撞事故的70%都是由驾驶员不注意引起的。比如使用手机、吃东西、低头做别的事或困倦，导致了分心。”
这都让heck感到惊讶。他解释说，这意味着“整个汽车行业历来都只专注于那余下的30%，而忽视了由舱内引发的70%的风险。”
heck称驾驶员分心是“流行病”。尽管有这样的证据，但车内监控仍然是一个相对新的功能。当euro ncap开始评估能有效检测疲劳和分心的dms时，汽车oem们才开始有动力接受dms。
安全专家们越来越认为，来自dms的准确信息对安全至关重要。因为具有可脱手自动驾驶的车辆正在陆续推出。
当车厂允许人类驾驶员放开方向盘时，dms是一个后备方案，它能准确地显示出当计算机驾驶员需要接管方向盘时，人类司机正在做什么。
nauto的路线图
八年过去了，nauto在车队领域中取得了突破。nauto的技术已被用于监控商业车队驾驶员以提高安全性。
那么，接下来会是什么呢？heck说，nauto的路线图上有四件事。
首要的是“融合”。
nauto正在努力融合车辆的外部和内部风险，创建一个“在驾驶监控之上的下一级能力”。
heck觉得车厂对有效的dms越来越感兴趣，而这正是nauto的机会。
heck说，内外摄像头数据的融合产生了全面的安全光谱。“如果我们知道驾驶员分心了，我们会在碰撞之前更早介入。”他称这是“一种新能力”，因为像前方碰撞预警这样的adas功能通常独立于dms运行。
其次，nauto的产品之前大部分在售后市场销售，但即将进入oem车辆。可以从brightdrop获得集成了nauto的电动送货车。heck表示，navistar正在推出搭载了nauto的商用卡车，“在接下来的几个月里还有更多的合作伙伴。”
第三，nauto正在研究集成的保险模型。“我们有一个合作伙伴关系，任何公用事业公司只要有合适的保险供应商，就可以有效地免费获取nauto。”heck提到了nauto与英国最大的商业保险公司aviva的试点项目。nauto的下一个目标是美国。
heck表示，公司的下一个目标是让nauto设计到乘用车中。尽管尚未宣布，但计划是“首先将nauto集成到轻型商用车、货车和皮卡中……然后扩展到其它车型。”
硬件构成
任何好的ai算法都需要优秀的硬件，即合适的摄像头和计算单元。那么，nauto的售后市场平台的硬件构成是什么呢？
nauto平台的舱外摄像头采用了sony图像传感器，而舱内摄像头则是omnivision的图像传感器。计算单元采用了qualcomm snapdragon 845，集成了高端gpu、dsp和8个arm内核。
heck说，nauto在snapdragon上运行的舱内和舱外算法最高可达每秒15帧。nauto在snapdragon的arm内核上运行其融合模型。
nauto平台可从obd端口获取数据，使nauto能够读取刹车位置、安全气囊部署和其他车内机械装置。nauto从gps传感器和多普勒接收车辆位置和速度数据，然后融合所有数据。
当被问到这是如何工作时，heck说：“我们会查看你面前是否有威胁，你正在以多快的速度行驶，你是否正在转弯，以及你是否已经在刹车。然后我们会监控你的注意力状态。如果你在保持专注，并且已经开始刹车，我们不会干扰，因为我们知道你已经看到了威胁，并且已经在应对它。但如果你正在加速或保持速度不变，而你面前有威胁，而你正在看手机或喝咖啡，那么我们会警告你并进行干预。”
那么，如果oem想要在他们的车辆中使用nauto，他们需要添加什么呢？
车辆应该有一个200-500mp的舱外摄像头，heck说：“低于720p，就很困难了。如果没有舱内摄像头显然是个问题。但是，好在现在每个车厂都在考虑在他们的新车中增加dms。”
大多数车辆已经有了gps和lte。但是算力呢？
heck承认，这个特性的差别很大。对于使用intel/mobileye的车辆，nauto运行在xeon上。对于部署了qualcomm高端汽车平台的其他车辆，则没有问题。heck指出，现在只有少数oem使用nvidia。nauto已经在nvidia上进行了测试，但尚未部署。
关于nauto的融合模型所需的处理能力，heck表示：“这不是一个黑白分明的问题，因为算法的不同部分消耗的计算量不同……一般来说，它需要几个tops。”
通过在av堆栈上增加nauto的融合模型，汽车oem能获得什么呢？heck表示，nauto可以为人类驾驶员提供更细颗粒度的安全介入。
“你看到一个行人正在你面前过马路。如果你看着前方道路却没有做出反应，那就是……典型的行人碰撞预警的场景。所以，这种情况下我们只会在碰撞前约三秒钟才介入。但如果你正在看手机，根本没看行人，我们可能会在碰撞前四秒介入。而如果你已经开始刹车，然后，也在看行人，那么，我们就不会介入。”
heck说，融合的目标是“稀疏但有效地介入。”
当nauto供应售后市场产品时，它也提供了它开发的所有adas和dms软件部分。
但对于oem车辆，所有的软件部分都是“可选的”。例如，如果oem更喜欢mobileye的adas系统和seeing machines的dms，那没问题。oem需要做的就是在他们的堆栈上添加nauto更安全的融合模型。nauto的模型可以授权。
竞争
尽管市面上还没有adas+dms融合模型，但nauto可能不会长时间保持优势。
一些dms技术供应商正在他们的dms算法中研发融合模型。
然而，heck强调了nauto的领先地位。“我们是行业先驱，我们拥有一些非常基本的关于内外融合的专利。”他没有详细说明，但补充说，“想要绕过这一点将会很困难。”
大数据也是nauto的明显优势。因为nauto起初在商用车队中开始运营，积累了关于内外关系的数据。heck表示，nauto的大部分竞争对手要么“只关注舱内，要么只关注舱外，他们从未同时关注过两者。”
接着是行驶里程。比起waymo积累的2000万英里（这是所有自动驾驶公司中最高的），nauto已经行驶了30亿英里。
最后，因为nauto一直与车队合作，heck说：“我们实际上知道其中涉及的经济风险。我们不仅会看它是否会导致碰撞，还会看碰撞的严重程度，以及会造成多大的损失。”
这种知识，在一个可预见的危险情况下，将促使nauto的技术提前介入。另一方面，在较不危险的情况下，nauto可以给予驾驶员更多的自由裁量权。heck相信，管理这些变量最终可能会决定融合模型的用户接受度。
nauto已经进行了三轮融资，拥有约150名员工，其中三分之一是合同工。虽然尚未盈利，但heck表示nauto还处于“成长阶段”，可能在几年后进行ipo。
2020年智能语音将有望迎来新的技术突破
230V交流电源供电LED灯电路图
iPhone12 MagSafe平替无线充，性价比高的无线充电宝推荐
新品推荐｜PQ20D(2)BG背景抑制型光电
投资物联网的动力来自于哪里
Nauto的“ADAS+DMS”的融合模型
都在学小米Mix 即将发布的3部高屏占比旗舰手机你会选谁
Type-C集线器解决笔记本的转接烦恼
磁敏电子双色液位计远传显示信息异常
英特尔宣布面向台式机的首款A3系列显卡面市
伺服优化原理和优化方案设计
我国工业机器人自研能力增强，产量约占全球1/3
云计算发展的规模是怎样的
基于计算机视觉的车辆检测系统的高级功能介绍
封装对信号完整性产生的影响概述
机器学习首次用来寻找新的抗生素的一次尝试
近红外技术助力茶行业完成“工业4.0”转型
适合学生党的蓝牙耳机有哪些？四款高性价比蓝牙耳机推荐
华为EMUI10升级率将达到90% 超过苹果iOS12
扩频因子参数引起的无线模块通讯故障可以用天线改善吗
许多车厂已经在多款车型上采用了adas，搭载多个摄像头。同时，车厂也在搭载dms，用摄像头监控车内人类驾驶员的行为。
但这两个系统从来都不是一起工作的。adas和dms由不同的供应商开发，两个系统间的数据也无法互相关联（虽然说的不是一回事，但我总是能想起小鹏车主下跪刷脸是怎么回事……）。
加州palo alto的初创公司nauto，希望改变这一情况。通过一个平台，融合车辆外部和内部生成的数据，nauto相信它将有助于提升道路与驾驶安全。
nauto的创始人兼ceo stefan heck解释说，“消费者反馈显示，许多驾驶员对adas或dms经常发出的误报感到恼火。这代表行业还没有做对这一点。”
数据融合
从2015年起，nauto就一直在用舱内摄像头监控商业车队驾驶员的行为。同时，nauto也一直用舱外摄像头监控道路。这项研究收集了有关行人、骑自行车的人和其他车辆行为的知识。它捕获了许多险些发生、紧急避险和高风险事件的场景。
通过结合舱外和舱内摄像头的数据，nauto看到了驾驶员分心行为和道路上实时发生的风险之间的关联。该公司表示，它已经分析了“数十亿的数据点”，并开发了“可以预测、防止和减少高风险事件的算法。”
800个车队
当heck创立nauto时，科技行业对完全自动驾驶汽车（av）充满了期待。当时人们都在预测，av的大量涌现意味着计算机驾驶员不仅将取代人类出租车和卡车司机，而且还会使街道更加安全。
与众不同的是，heck一直专注于帮助人们更好地驾驶，而不是取代他们。nauto表示，其原始使命是为期八年，目的是为车队驾驶员提供预防碰撞的能力。
将nauto与大多数其他av初创公司区分开来的是两种商业实践：首先，与商业车队服务运营商建立合作关系；其次，专注于后市场以启动nauto平台的部署。
heck说，最初，nauto强调的是舱内发生的场景。但在这个过程中，nauto也收集了舱外的风险数据，例如追尾、斑马线上的行人、信号灯和停车标识。
在开发ai算法来预测高风险事件时，nauto采用了基于深度学习的方法，使用从800个商业车队收集的数据。heck估计，800个车队相当于200，000名司机，车辆总数稍微少一些。
nauto 学到了什么？
对于从200，000名车队驾驶员收集的数据，heck说，“所有碰撞事故的70%都是由驾驶员不注意引起的。比如使用手机、吃东西、低头做别的事或困倦，导致了分心。”
这都让heck感到惊讶。他解释说，这意味着“整个汽车行业历来都只专注于那余下的30%，而忽视了由舱内引发的70%的风险。”
heck称驾驶员分心是“流行病”。尽管有这样的证据，但车内监控仍然是一个相对新的功能。当euro ncap开始评估能有效检测疲劳和分心的dms时，汽车oem们才开始有动力接受dms。
安全专家们越来越认为，来自dms的准确信息对安全至关重要。因为具有可脱手自动驾驶的车辆正在陆续推出。
当车厂允许人类驾驶员放开方向盘时，dms是一个后备方案，它能准确地显示出当计算机驾驶员需要接管方向盘时，人类司机正在做什么。
nauto的路线图
八年过去了，nauto在车队领域中取得了突破。nauto的技术已被用于监控商业车队驾驶员以提高安全性。
那么，接下来会是什么呢？heck说，nauto的路线图上有四件事。
首要的是“融合”。
nauto正在努力融合车辆的外部和内部风险，创建一个“在驾驶监控之上的下一级能力”。
heck觉得车厂对有效的dms越来越感兴趣，而这正是nauto的机会。
heck说，内外摄像头数据的融合产生了全面的安全光谱。“如果我们知道驾驶员分心了，我们会在碰撞之前更早介入。”他称这是“一种新能力”，因为像前方碰撞预警这样的adas功能通常独立于dms运行。
其次，nauto的产品之前大部分在售后市场销售，但即将进入oem车辆。可以从brightdrop获得集成了nauto的电动送货车。heck表示，navistar正在推出搭载了nauto的商用卡车，“在接下来的几个月里还有更多的合作伙伴。”
第三，nauto正在研究集成的保险模型。“我们有一个合作伙伴关系，任何公用事业公司只要有合适的保险供应商，就可以有效地免费获取nauto。”heck提到了nauto与英国最大的商业保险公司aviva的试点项目。nauto的下一个目标是美国。
heck表示，公司的下一个目标是让nauto设计到乘用车中。尽管尚未宣布，但计划是“首先将nauto集成到轻型商用车、货车和皮卡中……然后扩展到其它车型。”
硬件构成
任何好的ai算法都需要优秀的硬件，即合适的摄像头和计算单元。那么，nauto的售后市场平台的硬件构成是什么呢？
nauto平台的舱外摄像头采用了sony图像传感器，而舱内摄像头则是omnivision的图像传感器。计算单元采用了qualcomm snapdragon 845，集成了高端gpu、dsp和8个arm内核。
heck说，nauto在snapdragon上运行的舱内和舱外算法最高可达每秒15帧。nauto在snapdragon的arm内核上运行其融合模型。
nauto平台可从obd端口获取数据，使nauto能够读取刹车位置、安全气囊部署和其他车内机械装置。nauto从gps传感器和多普勒接收车辆位置和速度数据，然后融合所有数据。
当被问到这是如何工作时，heck说：“我们会查看你面前是否有威胁，你正在以多快的速度行驶，你是否正在转弯，以及你是否已经在刹车。然后我们会监控你的注意力状态。如果你在保持专注，并且已经开始刹车，我们不会干扰，因为我们知道你已经看到了威胁，并且已经在应对它。但如果你正在加速或保持速度不变，而你面前有威胁，而你正在看手机或喝咖啡，那么我们会警告你并进行干预。”
那么，如果oem想要在他们的车辆中使用nauto，他们需要添加什么呢？
车辆应该有一个200-500mp的舱外摄像头，heck说：“低于720p，就很困难了。如果没有舱内摄像头显然是个问题。但是，好在现在每个车厂都在考虑在他们的新车中增加dms。”
大多数车辆已经有了gps和lte。但是算力呢？
heck承认，这个特性的差别很大。对于使用intel/mobileye的车辆，nauto运行在xeon上。对于部署了qualcomm高端汽车平台的其他车辆，则没有问题。heck指出，现在只有少数oem使用nvidia。nauto已经在nvidia上进行了测试，但尚未部署。
关于nauto的融合模型所需的处理能力，heck表示：“这不是一个黑白分明的问题，因为算法的不同部分消耗的计算量不同……一般来说，它需要几个tops。”
通过在av堆栈上增加nauto的融合模型，汽车oem能获得什么呢？heck表示，nauto可以为人类驾驶员提供更细颗粒度的安全介入。
“你看到一个行人正在你面前过马路。如果你看着前方道路却没有做出反应，那就是……典型的行人碰撞预警的场景。所以，这种情况下我们只会在碰撞前约三秒钟才介入。但如果你正在看手机，根本没看行人，我们可能会在碰撞前四秒介入。而如果你已经开始刹车，然后，也在看行人，那么，我们就不会介入。”
heck说，融合的目标是“稀疏但有效地介入。”
当nauto供应售后市场产品时，它也提供了它开发的所有adas和dms软件部分。
但对于oem车辆，所有的软件部分都是“可选的”。例如，如果oem更喜欢mobileye的adas系统和seeing machines的dms，那没问题。oem需要做的就是在他们的堆栈上添加nauto更安全的融合模型。nauto的模型可以授权。
竞争
尽管市面上还没有adas+dms融合模型，但nauto可能不会长时间保持优势。
一些dms技术供应商正在他们的dms算法中研发融合模型。
然而，heck强调了nauto的领先地位。“我们是行业先驱，我们拥有一些非常基本的关于内外融合的专利。”他没有详细说明，但补充说，“想要绕过这一点将会很困难。”
大数据也是nauto的明显优势。因为nauto起初在商用车队中开始运营，积累了关于内外关系的数据。heck表示，nauto的大部分竞争对手要么“只关注舱内，要么只关注舱外，他们从未同时关注过两者。”
接着是行驶里程。比起waymo积累的2000万英里（这是所有自动驾驶公司中最高的），nauto已经行驶了30亿英里。
最后，因为nauto一直与车队合作，heck说：“我们实际上知道其中涉及的经济风险。我们不仅会看它是否会导致碰撞，还会看碰撞的严重程度，以及会造成多大的损失。”
这种知识，在一个可预见的危险情况下，将促使nauto的技术提前介入。另一方面，在较不危险的情况下，nauto可以给予驾驶员更多的自由裁量权。heck相信，管理这些变量最终可能会决定融合模型的用户接受度。
nauto已经进行了三轮融资，拥有约150名员工，其中三分之一是合同工。虽然尚未盈利，但heck表示nauto还处于“成长阶段”，可能在几年后进行ipo。
2020年智能语音将有望迎来新的技术突破
230V交流电源供电LED灯电路图
iPhone12 MagSafe平替无线充，性价比高的无线充电宝推荐
新品推荐｜PQ20D(2)BG背景抑制型光电
投资物联网的动力来自于哪里
Nauto的“ADAS+DMS”的融合模型
都在学小米Mix 即将发布的3部高屏占比旗舰手机你会选谁
Type-C集线器解决笔记本的转接烦恼
磁敏电子双色液位计远传显示信息异常
英特尔宣布面向台式机的首款A3系列显卡面市
伺服优化原理和优化方案设计
我国工业机器人自研能力增强，产量约占全球1/3
云计算发展的规模是怎样的
基于计算机视觉的车辆检测系统的高级功能介绍
封装对信号完整性产生的影响概述
机器学习首次用来寻找新的抗生素的一次尝试
近红外技术助力茶行业完成“工业4.0”转型
适合学生党的蓝牙耳机有哪些？四款高性价比蓝牙耳机推荐
华为EMUI10升级率将达到90% 超过苹果iOS12
扩频因子参数引起的无线模块通讯故障可以用天线改善吗