Prophesee为AIoT应用重塑 DVS 摄像头
prophesee基于事件的摄像头适用于始终在线的物联网设备。
动态视觉传感器 (dvs) 公司 prophesee 已将其基于事件的摄像头调整为适合始终在线的 aiot(物联网人工智能)设备的外形尺寸。与该公司的 100 万像素第四代传感器相比，第五代 genx320 将其分辨率降低到 320 x 320 像素，芯片尺寸减小到 13mm2，现在包括标准数据格式，便于下游处理和超低功耗模式的层次结构，可用于唤醒系统的其他部分，prophesee首席执行官luca verre告诉ee times。
“[基于事件的传感器]技术现在正在消费领域开辟一个机会，一个更大的生态系统正在意识到这项技术并有兴趣采用它，”verre说。“但三年前，我们发现了不一定适合我们的第四代传感器的其他机会。这就是我们开发第五代产品的原因，适用于出于成本、功耗和集成原因需要非常小的传感器设备的应用。
dvs传感器等基于事件的传感器基于人类视网膜的生物学特性：它们只输出像素亮度的变化，而不是完整的图像帧。这会以低延迟生成低带宽数据，但其中包含有关场景的足够信息。处理这种低带宽数据所需的计算量较小，这意味着可以节省功耗。该技术对弱光条件也具有很强的适应能力。
stanley electric 的 ir led 和 vcsel 如何为高性能驾驶员监控系统做出贡献
prophesee 与索尼合作设计的上一代传感器于 2021 年底开始量产。这款高清传感器是一款 bsi(背照式)3d 堆叠芯片，体积小到足以首次针对消费电子产品。
prophesee一直在与高通公司合作，展示这款采用骁龙移动处理器的传感器。verre表示，至少有两家oem厂商正在为2025年发布智能手机，其中包括snapdragon和prophesee的组合。这里的用例是融合全画幅和事件数据，以提高智能手机相机的图像质量。使用 prophesee 传感器检测照片中的运动，然后使用 prophesee 的计算摄影算法进行校正，可以减少运动模糊。
genx320 具有更低的分辨率、更低的功耗和更小的尺寸，将针对 ar/vr 头戴式设备、安全和监控/检测系统、非接触式显示器、眼动追踪和其他始终在线的物联网设备。然而，虽然该传感器仍采用bis 3d堆叠设计，但并非与索尼合作开发，而是将在不同的代工厂制造。
“我们与索尼的关系非常好：我们共同开发了第四代传感器，我们还与索尼达成了商业协议，共同进入市场，”verre说。“因此，这种合作关系正在进行中，但第五代传感器由prophesee设计，由我们的代工合作伙伴制造，并由我们销售。[第四代和第五代]传感器在市场定位方面完全不同，针对非常不同的用例，传感器分辨率不同，因此它们是互补的。没有重叠，这使得我们与索尼的上市战略非常简单。
接口和电源模式
prophesee联合创始人兼首席技术官christoph posch告诉ee times，genx320有几个关键的新功能与边缘人工智能和物联网应用有关。
他说：“我们(以前)有一种非常规的数据格式，没有人真正知道该如何处理——对事件中的动态视觉信息进行编码，没有人理解。“我们的数据速率是非恒定的，没有标准的数据格式或接口。我们意识到所有这些事情都减缓了这项技术的采用。这就是为什么我们认为，'我们需要设计一种更实用的传感器，可以集成到边缘ai视觉系统中，并帮助潜在客户真正使用该系统'。
prophesee 的 genx30 芯片，传感器芯片在顶部，处理器在底部。esp是指数字事件信号处理流水线。
genx320 包括片上预处理功能，可根据需要将数据重新格式化为行业标准格式，并提供三种接口选择：
高带宽mipi接口与应用处理器连接，并使用完整的数字流水线在流式传输之前对数据进行预处理和过滤。
cpi 接口 (dcmi) 与低延迟应用中的微控制器连接。数据可以聚合成 2d 直方图，以便进行 ai 处理。
prophesee现有的aer(地址-事件表示)接口完全绕过了数字预处理管道，用于神经形态和脉冲神经网络加速器。
genx320 还包括低功耗模式的层次结构。最低功耗模式用于始终开启的活动检测，功耗约为 36 μw。完全有源模式在cpi接口上的功耗约为3.5 mw，在mipi接口下功耗约为20 mw。
posch说：“我们可以向上爬到功率模式，实现更高的分辨率和更智能的检测，最高模式，在该模式下，所有事件数据的输出接口都完全流向应用处理器。“在[最高和最低功耗模式]之间，我们可以在这些功率模式之间循环，这取决于场景中发生的情况。
这些模式使用一种称为全局对比度检测器 (gcd) 的新功能，该功能可检测移动、进入或离开视野的物体。像素阵列被细分为多个区域，这些区域可以小至 4 x 4 像素。prophesee 使用阵列中每个区域中光电二极管的光电流总和(以硬件计算)来检测该区域中的活动。对于最低功耗模式，有九个检测区域;其效果就好像在总共 100,000 个像素中只有 9 个被打开，因此可以节省大量电量。
risc-v cpu 还可用于对灵活的感兴趣区域进行编程，最多可同时对 12 个感兴趣区域进行编程。
全局对比度检测 (gcd) 是一项新功能，可将阵列分解为多个区域以节省功耗。这些区域中的活动检测可用于唤醒系统的其他部分。
商业牵引力
genx320 传感器已经掌握在 20 多个主要客户手中进行原型设计。
zinn labs 使用 genx360 开发了一种用于 ar/vr 眼镜的基于事件的眼动仪，它产生的数据比全画幅相机少 100×。这意味着眼动追踪可以在1 khz或更高的频率下完成，比全画幅相机设置快10×。快速眼动追踪的应用之一是注视点渲染：我们的眼睛不会同时聚焦整个场景，因此，如果我们知道眼睛在看哪里，有选择地渲染我们正在看的部分可以节省计算量。verre表示，zinn labs正在与客户合作，明年开始大规模生产prophesee genx320传感器。
英国初创公司 ultraleap 一直在将 genx320 用于用于非接触式人机界面的手部跟踪系统。verre说，照明条件对于这种应用来说可能具有挑战性，但prophesee传感器具有高动态范围(高于120 db)。
消费电子公司xperi已经拥有使用prophesee上一代传感器的驾驶员监控系统，现在它正在考虑将genx360用于智能设备和家用电器。台湾原始设备制造商 yunx 计划明年推出一款保护隐私的 genx320 跌倒检测系统。
verre表示，prophesee将在未来几周内展示genx320和用于边缘ai的stm32微控制器，随后将推出更多具有不同类型处理器的参考设计。genx320的产量将在明年上半年增加。
声纹识别未来的研究方向会是往哪里
高通/联发科/三星明年决战中高端手机芯片市场
教教大家如何花式点亮一排灯,老司机准备起飞了！
二极管单相桥式整流滤波电路讲解
你住的房子配置了人工智能吗
Prophesee为AIoT应用重塑 DVS 摄像头
5G基站为何建得比4G多？
固体环网柜的一些归类和通称的简单介绍
放大器的噪声问题(1)
第一届物联网标准化国际论坛于上海举行
高频开关整流器的工作原理
光功率计的特点_光功率计的工作原理
解读RF放大器规格：输出电压/电流和1dB压缩点
为了供应，英伟达将GPU装换为AI引擎
RFID怎样的天线是最佳的性能
数字资产将来会取代法定货币吗？
传闻华为海思用货运专机前往台积电把芯片运回大陆
如何推进广东省半导体和集成电路产业的发展?
个人辐射剂量仪的特点你了解吗
23G互操作的意义,23G互操作原理
动态视觉传感器 (dvs) 公司 prophesee 已将其基于事件的摄像头调整为适合始终在线的 aiot(物联网人工智能)设备的外形尺寸。与该公司的 100 万像素第四代传感器相比，第五代 genx320 将其分辨率降低到 320 x 320 像素，芯片尺寸减小到 13mm2，现在包括标准数据格式，便于下游处理和超低功耗模式的层次结构，可用于唤醒系统的其他部分，prophesee首席执行官luca verre告诉ee times。
“[基于事件的传感器]技术现在正在消费领域开辟一个机会，一个更大的生态系统正在意识到这项技术并有兴趣采用它，”verre说。“但三年前，我们发现了不一定适合我们的第四代传感器的其他机会。这就是我们开发第五代产品的原因，适用于出于成本、功耗和集成原因需要非常小的传感器设备的应用。
dvs传感器等基于事件的传感器基于人类视网膜的生物学特性：它们只输出像素亮度的变化，而不是完整的图像帧。这会以低延迟生成低带宽数据，但其中包含有关场景的足够信息。处理这种低带宽数据所需的计算量较小，这意味着可以节省功耗。该技术对弱光条件也具有很强的适应能力。
stanley electric 的 ir led 和 vcsel 如何为高性能驾驶员监控系统做出贡献
prophesee 与索尼合作设计的上一代传感器于 2021 年底开始量产。这款高清传感器是一款 bsi(背照式)3d 堆叠芯片，体积小到足以首次针对消费电子产品。
prophesee一直在与高通公司合作，展示这款采用骁龙移动处理器的传感器。verre表示，至少有两家oem厂商正在为2025年发布智能手机，其中包括snapdragon和prophesee的组合。这里的用例是融合全画幅和事件数据，以提高智能手机相机的图像质量。使用 prophesee 传感器检测照片中的运动，然后使用 prophesee 的计算摄影算法进行校正，可以减少运动模糊。
genx320 具有更低的分辨率、更低的功耗和更小的尺寸，将针对 ar/vr 头戴式设备、安全和监控/检测系统、非接触式显示器、眼动追踪和其他始终在线的物联网设备。然而，虽然该传感器仍采用bis 3d堆叠设计，但并非与索尼合作开发，而是将在不同的代工厂制造。
“我们与索尼的关系非常好：我们共同开发了第四代传感器，我们还与索尼达成了商业协议，共同进入市场，”verre说。“因此，这种合作关系正在进行中，但第五代传感器由prophesee设计，由我们的代工合作伙伴制造，并由我们销售。[第四代和第五代]传感器在市场定位方面完全不同，针对非常不同的用例，传感器分辨率不同，因此它们是互补的。没有重叠，这使得我们与索尼的上市战略非常简单。
接口和电源模式
prophesee联合创始人兼首席技术官christoph posch告诉ee times，genx320有几个关键的新功能与边缘人工智能和物联网应用有关。
他说：“我们(以前)有一种非常规的数据格式，没有人真正知道该如何处理——对事件中的动态视觉信息进行编码，没有人理解。“我们的数据速率是非恒定的，没有标准的数据格式或接口。我们意识到所有这些事情都减缓了这项技术的采用。这就是为什么我们认为，'我们需要设计一种更实用的传感器，可以集成到边缘ai视觉系统中，并帮助潜在客户真正使用该系统'。
prophesee 的 genx30 芯片，传感器芯片在顶部，处理器在底部。esp是指数字事件信号处理流水线。
genx320 包括片上预处理功能，可根据需要将数据重新格式化为行业标准格式，并提供三种接口选择：
高带宽mipi接口与应用处理器连接，并使用完整的数字流水线在流式传输之前对数据进行预处理和过滤。
cpi 接口 (dcmi) 与低延迟应用中的微控制器连接。数据可以聚合成 2d 直方图，以便进行 ai 处理。
prophesee现有的aer(地址-事件表示)接口完全绕过了数字预处理管道，用于神经形态和脉冲神经网络加速器。
genx320 还包括低功耗模式的层次结构。最低功耗模式用于始终开启的活动检测，功耗约为 36 μw。完全有源模式在cpi接口上的功耗约为3.5 mw，在mipi接口下功耗约为20 mw。
posch说：“我们可以向上爬到功率模式，实现更高的分辨率和更智能的检测，最高模式，在该模式下，所有事件数据的输出接口都完全流向应用处理器。“在[最高和最低功耗模式]之间，我们可以在这些功率模式之间循环，这取决于场景中发生的情况。
这些模式使用一种称为全局对比度检测器 (gcd) 的新功能，该功能可检测移动、进入或离开视野的物体。像素阵列被细分为多个区域，这些区域可以小至 4 x 4 像素。prophesee 使用阵列中每个区域中光电二极管的光电流总和(以硬件计算)来检测该区域中的活动。对于最低功耗模式，有九个检测区域;其效果就好像在总共 100,000 个像素中只有 9 个被打开，因此可以节省大量电量。
risc-v cpu 还可用于对灵活的感兴趣区域进行编程，最多可同时对 12 个感兴趣区域进行编程。
全局对比度检测 (gcd) 是一项新功能，可将阵列分解为多个区域以节省功耗。这些区域中的活动检测可用于唤醒系统的其他部分。
商业牵引力
genx320 传感器已经掌握在 20 多个主要客户手中进行原型设计。
zinn labs 使用 genx360 开发了一种用于 ar/vr 眼镜的基于事件的眼动仪，它产生的数据比全画幅相机少 100×。这意味着眼动追踪可以在1 khz或更高的频率下完成，比全画幅相机设置快10×。快速眼动追踪的应用之一是注视点渲染：我们的眼睛不会同时聚焦整个场景，因此，如果我们知道眼睛在看哪里，有选择地渲染我们正在看的部分可以节省计算量。verre表示，zinn labs正在与客户合作，明年开始大规模生产prophesee genx320传感器。
英国初创公司 ultraleap 一直在将 genx320 用于用于非接触式人机界面的手部跟踪系统。verre说，照明条件对于这种应用来说可能具有挑战性，但prophesee传感器具有高动态范围(高于120 db)。
消费电子公司xperi已经拥有使用prophesee上一代传感器的驾驶员监控系统，现在它正在考虑将genx360用于智能设备和家用电器。台湾原始设备制造商 yunx 计划明年推出一款保护隐私的 genx320 跌倒检测系统。
verre表示，prophesee将在未来几周内展示genx320和用于边缘ai的stm32微控制器，随后将推出更多具有不同类型处理器的参考设计。genx320的产量将在明年上半年增加。
声纹识别未来的研究方向会是往哪里
高通/联发科/三星明年决战中高端手机芯片市场
教教大家如何花式点亮一排灯,老司机准备起飞了！
二极管单相桥式整流滤波电路讲解
你住的房子配置了人工智能吗
Prophesee为AIoT应用重塑 DVS 摄像头
5G基站为何建得比4G多？
固体环网柜的一些归类和通称的简单介绍
放大器的噪声问题(1)
第一届物联网标准化国际论坛于上海举行
高频开关整流器的工作原理
光功率计的特点_光功率计的工作原理
解读RF放大器规格：输出电压/电流和1dB压缩点
为了供应，英伟达将GPU装换为AI引擎
RFID怎样的天线是最佳的性能
数字资产将来会取代法定货币吗？
传闻华为海思用货运专机前往台积电把芯片运回大陆
如何推进广东省半导体和集成电路产业的发展?
个人辐射剂量仪的特点你了解吗
23G互操作的意义,23G互操作原理