ADI和Microsoft为3D成像启用飞行时间技术
analog devices （adi） 和 microsoft 联手生产飞行时间 （tof） 3d 成像解决方案，目标是在任何场景条件下都提供更高的精度。adi 将利用 microsoft 的 azure kinect 3d tof 技术并添加其技术 ic 和系统专业知识，以创建更易于采用的解决方案。目标是在工业 4.0、汽车、游戏、增强现实以及计算摄影和摄像等领域覆盖广泛的受众 。
行业市场分析师估计，在具有挑战性的环境中使用的 3d 成像系统将出现强劲增长，并且需要人类协作机器人、房间映射和库存管理系统等尖端应用来实现工业 4.0。 还需要tof 应用 来创建具有占用检测和驾驶员监控功能的更安全的汽车驾驶环境。
在接受 ee times 采访时，增强成像和解释高级总监 tony zarola 和 adi 公司战略营销经理 carlos calvo 强调了此次合作的基础。 zarola 表示：“微软已成为图像传感器制造商 3d tof 性能的基准，并为 adi 提供核心像素技术，这是 adi 正在构建的传感器和解决方案的基础。几十年来，他们开发了在智能边缘或智能云上运行的最佳数据捕获和革命性算法所需的专业知识。我们期待结合微软和 adi 在芯片、系统、软件和光学方面的最佳能力。”
3d tof 设计
手势识别是设备识别人体一系列动作的能力。电子技术基于相机和 ic 的帮助，用于识别和扫描 2d 或 3d 轮廓中的场景。tof 技术包括向目标发送激光束并分析信号的反射。
3d tof是一种没有扫描仪的光探测和测距 （lidar），它使用纳秒级的高功率光脉冲从场景中捕获深度信息（通常是短距离）。各种 ic 解决方案在手势识别软件算法的帮助下，创建接收到的图像的深度图，实时响应身体运动。手势识别技术的主要优点是个人和控制系统之间不需要物理接触。
tof 相机通过调制激光照射物体和激光波长敏感传感器来捕获反射光，从而测量距离。传感器测量从光发射到相机接收到反射光之间的时间延迟。有几种测量时间延迟的方法，其中两种已经很常见：连续波 （cw） 方法和脉冲方法。绝大多数 tof 传感器是 cw 并使用 cmos 传感器。
有许多混杂因素使 tof 测量变得困难：干扰环境光、由场景中物体反射的光导致的多路径效应破坏真实距离、温度效应和范围模糊。“挑战的范围从硅片开发到创建一个完整的系统，该系统的性能与部件的理论总和一致，”calvo 说。“孤立地看待每个组件是不可能的。例如，具有最佳传感器但配备未优化镜头的 tof 相机的整体系统性能会很差。
“从表面上看，tof 相机与 rgb 相机有相似之处，”他补充道。“一个关键的区别是，根据应用程序，rgb 相机的图像质量是以一定程度的主观性来判断的；其他应用程序只能通过高级后处理启用。tof 相机测量一个客观的物理量（距离），根据应用，用户可能会严重依赖图像的准确性。rgb 相机中的一些光学缺陷（例如镜头眩光）会产生有时被认为是艺术性的伪影（例如，阳光眩光）。在 tof 系统中，镜头光晕即使没有大幅减少，也会在物体强烈反射的情况下削弱整个系统的性能。”
用于 tof 的 cmos 传感器由发射器和接收器组成；它能够以接近 160 fps 的性能以单像素级别计算对象的距离。
“在芯片级别，必须考虑信号链的关键元素：激光驱动器、集成读出的 tof 图像传感器，最后是深度计算引擎，”calvo 说。“挑战始于在图像传感器本身中设计具有高响应度和高调制对比度的像素，并以形成可由下一个应用层解释的 3d 点云结束。
“除了组件之外，深度相机的设计和生产还面临着关键挑战，因为光机设计、校准、电气设计和软件实施都非常耗时且具有挑战性，”他补充道。“analog devices 为我们的客户应对这些挑战，以简化他们的设计流程。”
图 1：tof 框图。
像素从场景的不同部分收集光，它们的重组将构成重建图像。所有传感器像素都由解调和调制块之间的相关性控制。每个像素都可以用图 2所示的模型来近似。
通过激活相关控制信号，电流在积分时间内被引导至节点 a （da） 或节点 b （db）。在解调停止的情况下进行读取，以便系统可以读取整个位序列。clka 和 clkb 在时间 tint1 以选定的调制频率进行 180° 异相调制。接收到的关于 clka 和 clkb 时钟的光的相位决定了 da 和 db 信号。在积分结束时，clka 和 clkb 关闭，读取阶段通过对积分信号 （bitlineaint1-bitlinebint1） 进行采样来进行。
光子到电流的转换受泊松分布的量子过程控制。让我们了解系统优劣的参数是量子效率。也就是说，产生的电子数量与激活相应像素的光子数量之间的比率。电子的数量取决于实际调制的光和对应于噪声效应的环境光。设计 tof 系统时要选择的参数是视野 （fov）。必须根据场景的覆盖范围适当地选择fov。
图 2：像素的电路和时序。
为了在高频下实现高效率，可以使用 0.13-μm 混合信号低功耗 cmos 工艺制造芯片，并稍作修改，以支持高效的 tof 操作。
adi 和微软
微软与 adi 的合作旨在增强 tof 技术：adi 正在设计一系列新的 tof 3d 图像传感器，该传感器将提供小于 1 毫米的精度，并将与微软的深度、智能的雷德蒙德巨头生态系统兼容。云和智能边缘平台。
“我们坚信这种合作将影响所有主要行业——消费、工业、医疗保健和汽车，”zarola 说。“到目前为止，微软开发的技术还没有广泛用于规模化的商业应用程序。我们相信，由微软成像技术提供支持的 adi 解决方案将全面改变游戏规则。”
安全系统在增强面部识别方面有着明显的应用，同时为更高效的工厂自动化采取了先进的安全措施。工业 4.0 将通过协作机器人与人类一起安全地工作，而不会在“无人”区域被隔离，并且通过 tof 精度来确定箱子和托盘尺寸的进一步优化物流。
zarola 补充说：“更复杂的占用检测将提高能源效率、安全系统和人机交互。从家庭到汽车，我们与微软的 tof 合作将为新的游戏体验提供在现实世界中放置虚拟对象并与之交互的能力，改变我们与汽车的交互方式，并通过监控驾驶员和乘客来提高安全性。tof 技术的潜在用例广泛且不断发展，因此今天的主要应用预计将在明天被新想法所取代。”
zarola 和 calvo 已经表明他们的客户希望在很宽的温度范围内实现毫米级深度分辨率和精细的空间分辨率。实现这种性能需要在硬件和软件层面实现极端水平的时间同步。“控制激光器的信号和传感器中的像素之间 10 ps 的时序错位会导致最终距离估计出现 1.5 毫米的误差，”calvo 说。“如果这还不够困难，还需要在很宽的温度范围内保持 tof 系统准确，这需要联合设计的高级处理和校准算法。”
对 tof 系统的一个具体批评是它们可以运行的调制频率以及 adi 最集中的位置。大多数深度估计误差的来源往往被调制频率“划分”。“我们的目标是提高 tof 系统的平均调制频率，这将允许以更低的深度噪声进行测量，并减少多路径或环境光散粒噪声的不利影响，”zarola 说。“adi 还在寻求解决使深度相机的设计和生产既耗时又困难的关键挑战。我们正在处理机械对准、光学设计、校准、电气设计和软件实施以及图像捕获中的传统障碍。”
微软在 hololens 混合现实设备中使用的 tof 3d 技术和 azure kinect 开发套件与 adi 的定制解决方案相结合，将使新一代高性能应用程序得以实施和扩展，同时优化上市时间。
中国的军用无人机强势突围，打破了美国及其铁杆盟友的垄断地位
Linux网络技术栈的相关知识
云途完成数亿元A+轮融资，打造全系列高端车规芯格局
LV1116音频处理芯片各引脚功能及电压
新美国安全中心：理解中国的人工智能战略
ADI和Microsoft为3D成像启用飞行时间技术
儒卓力解决方案：适用于紧凑型电机控制单元的车规级硬件
cmos反相器的输出特性
5G将助力工业互联网实现跨越式的发展
详解：基于FPGA的虚拟DPO设计
靠风力就能行驶的车是怎么样的
百世利铜编织带软连接 扁铜编织导电带
激光测距望远镜TP320采用高透液晶显示，透光率达90%
怎样减少路径上的LUT个数使速度更快呢？
小米发布红米NOTE4X， 别喊错， 不叫红米4 PLUS！
5G的发展给中国铁塔带来了什么
中国示波器寻源录---仪器行业前浪访谈
Leap Motion 曝光 AR 头显 符合人体工程学
镁光公然诉讼联电窃取机密，估计价值达87.5亿美元
媒体报道｜德赛集团：40年从5个人到2万人 10年后剑指2000亿
行业市场分析师估计，在具有挑战性的环境中使用的 3d 成像系统将出现强劲增长，并且需要人类协作机器人、房间映射和库存管理系统等尖端应用来实现工业 4.0。 还需要tof 应用 来创建具有占用检测和驾驶员监控功能的更安全的汽车驾驶环境。
在接受 ee times 采访时，增强成像和解释高级总监 tony zarola 和 adi 公司战略营销经理 carlos calvo 强调了此次合作的基础。 zarola 表示：“微软已成为图像传感器制造商 3d tof 性能的基准，并为 adi 提供核心像素技术，这是 adi 正在构建的传感器和解决方案的基础。几十年来，他们开发了在智能边缘或智能云上运行的最佳数据捕获和革命性算法所需的专业知识。我们期待结合微软和 adi 在芯片、系统、软件和光学方面的最佳能力。”
3d tof 设计
手势识别是设备识别人体一系列动作的能力。电子技术基于相机和 ic 的帮助，用于识别和扫描 2d 或 3d 轮廓中的场景。tof 技术包括向目标发送激光束并分析信号的反射。
3d tof是一种没有扫描仪的光探测和测距 （lidar），它使用纳秒级的高功率光脉冲从场景中捕获深度信息（通常是短距离）。各种 ic 解决方案在手势识别软件算法的帮助下，创建接收到的图像的深度图，实时响应身体运动。手势识别技术的主要优点是个人和控制系统之间不需要物理接触。
tof 相机通过调制激光照射物体和激光波长敏感传感器来捕获反射光，从而测量距离。传感器测量从光发射到相机接收到反射光之间的时间延迟。有几种测量时间延迟的方法，其中两种已经很常见：连续波 （cw） 方法和脉冲方法。绝大多数 tof 传感器是 cw 并使用 cmos 传感器。
有许多混杂因素使 tof 测量变得困难：干扰环境光、由场景中物体反射的光导致的多路径效应破坏真实距离、温度效应和范围模糊。“挑战的范围从硅片开发到创建一个完整的系统，该系统的性能与部件的理论总和一致，”calvo 说。“孤立地看待每个组件是不可能的。例如，具有最佳传感器但配备未优化镜头的 tof 相机的整体系统性能会很差。
“从表面上看，tof 相机与 rgb 相机有相似之处，”他补充道。“一个关键的区别是，根据应用程序，rgb 相机的图像质量是以一定程度的主观性来判断的；其他应用程序只能通过高级后处理启用。tof 相机测量一个客观的物理量（距离），根据应用，用户可能会严重依赖图像的准确性。rgb 相机中的一些光学缺陷（例如镜头眩光）会产生有时被认为是艺术性的伪影（例如，阳光眩光）。在 tof 系统中，镜头光晕即使没有大幅减少，也会在物体强烈反射的情况下削弱整个系统的性能。”
用于 tof 的 cmos 传感器由发射器和接收器组成；它能够以接近 160 fps 的性能以单像素级别计算对象的距离。
“在芯片级别，必须考虑信号链的关键元素：激光驱动器、集成读出的 tof 图像传感器，最后是深度计算引擎，”calvo 说。“挑战始于在图像传感器本身中设计具有高响应度和高调制对比度的像素，并以形成可由下一个应用层解释的 3d 点云结束。
“除了组件之外，深度相机的设计和生产还面临着关键挑战，因为光机设计、校准、电气设计和软件实施都非常耗时且具有挑战性，”他补充道。“analog devices 为我们的客户应对这些挑战，以简化他们的设计流程。”
图 1：tof 框图。
像素从场景的不同部分收集光，它们的重组将构成重建图像。所有传感器像素都由解调和调制块之间的相关性控制。每个像素都可以用图 2所示的模型来近似。
通过激活相关控制信号，电流在积分时间内被引导至节点 a （da） 或节点 b （db）。在解调停止的情况下进行读取，以便系统可以读取整个位序列。clka 和 clkb 在时间 tint1 以选定的调制频率进行 180° 异相调制。接收到的关于 clka 和 clkb 时钟的光的相位决定了 da 和 db 信号。在积分结束时，clka 和 clkb 关闭，读取阶段通过对积分信号 （bitlineaint1-bitlinebint1） 进行采样来进行。
光子到电流的转换受泊松分布的量子过程控制。让我们了解系统优劣的参数是量子效率。也就是说，产生的电子数量与激活相应像素的光子数量之间的比率。电子的数量取决于实际调制的光和对应于噪声效应的环境光。设计 tof 系统时要选择的参数是视野 （fov）。必须根据场景的覆盖范围适当地选择fov。
图 2：像素的电路和时序。
为了在高频下实现高效率，可以使用 0.13-μm 混合信号低功耗 cmos 工艺制造芯片，并稍作修改，以支持高效的 tof 操作。
adi 和微软
微软与 adi 的合作旨在增强 tof 技术：adi 正在设计一系列新的 tof 3d 图像传感器，该传感器将提供小于 1 毫米的精度，并将与微软的深度、智能的雷德蒙德巨头生态系统兼容。云和智能边缘平台。
“我们坚信这种合作将影响所有主要行业——消费、工业、医疗保健和汽车，”zarola 说。“到目前为止，微软开发的技术还没有广泛用于规模化的商业应用程序。我们相信，由微软成像技术提供支持的 adi 解决方案将全面改变游戏规则。”
安全系统在增强面部识别方面有着明显的应用，同时为更高效的工厂自动化采取了先进的安全措施。工业 4.0 将通过协作机器人与人类一起安全地工作，而不会在“无人”区域被隔离，并且通过 tof 精度来确定箱子和托盘尺寸的进一步优化物流。
zarola 补充说：“更复杂的占用检测将提高能源效率、安全系统和人机交互。从家庭到汽车，我们与微软的 tof 合作将为新的游戏体验提供在现实世界中放置虚拟对象并与之交互的能力，改变我们与汽车的交互方式，并通过监控驾驶员和乘客来提高安全性。tof 技术的潜在用例广泛且不断发展，因此今天的主要应用预计将在明天被新想法所取代。”
zarola 和 calvo 已经表明他们的客户希望在很宽的温度范围内实现毫米级深度分辨率和精细的空间分辨率。实现这种性能需要在硬件和软件层面实现极端水平的时间同步。“控制激光器的信号和传感器中的像素之间 10 ps 的时序错位会导致最终距离估计出现 1.5 毫米的误差，”calvo 说。“如果这还不够困难，还需要在很宽的温度范围内保持 tof 系统准确，这需要联合设计的高级处理和校准算法。”
对 tof 系统的一个具体批评是它们可以运行的调制频率以及 adi 最集中的位置。大多数深度估计误差的来源往往被调制频率“划分”。“我们的目标是提高 tof 系统的平均调制频率，这将允许以更低的深度噪声进行测量，并减少多路径或环境光散粒噪声的不利影响，”zarola 说。“adi 还在寻求解决使深度相机的设计和生产既耗时又困难的关键挑战。我们正在处理机械对准、光学设计、校准、电气设计和软件实施以及图像捕获中的传统障碍。”
微软在 hololens 混合现实设备中使用的 tof 3d 技术和 azure kinect 开发套件与 adi 的定制解决方案相结合，将使新一代高性能应用程序得以实施和扩展，同时优化上市时间。
中国的军用无人机强势突围，打破了美国及其铁杆盟友的垄断地位
Linux网络技术栈的相关知识
云途完成数亿元A+轮融资，打造全系列高端车规芯格局
LV1116音频处理芯片各引脚功能及电压
新美国安全中心：理解中国的人工智能战略
ADI和Microsoft为3D成像启用飞行时间技术
儒卓力解决方案：适用于紧凑型电机控制单元的车规级硬件
cmos反相器的输出特性
5G将助力工业互联网实现跨越式的发展
详解：基于FPGA的虚拟DPO设计
靠风力就能行驶的车是怎么样的
百世利铜编织带软连接 扁铜编织导电带
激光测距望远镜TP320采用高透液晶显示，透光率达90%
怎样减少路径上的LUT个数使速度更快呢？
小米发布红米NOTE4X， 别喊错， 不叫红米4 PLUS！
5G的发展给中国铁塔带来了什么
中国示波器寻源录---仪器行业前浪访谈
Leap Motion 曝光 AR 头显 符合人体工程学
镁光公然诉讼联电窃取机密，估计价值达87.5亿美元
媒体报道｜德赛集团：40年从5个人到2万人 10年后剑指2000亿