dToF和iToF的成像原理
苹果公司近期正式推出了新款ipad pro，吸引了不少人的关注。在官方的宣传标语中，有一句话尤其引人关注，“它的pro级摄像头打通了真实和虚拟的交界”。
新款ipad pro搭载的pro级摄像头不仅包含了全新的超广角摄像头，还包含了一款激光雷达扫描仪。该扫描仪利用dtof技术，结合运动传感器和ipados内的架构，可以进行深度测量，为增强现实及更广泛的领域开启无尽可能。
那么dtof是什么呢，它和我们之前市面上已有的itof又有什么不同呢？
本文将会介绍dtof和itof的成像原理，对比分析dtof和itof两者的差异性，带领大家了解一下tof领域。
一．tof
首先，让我们先来了解一下tof的基本概念。
time-of-flight(tof)，顾名思义，是一种利用光飞行时间的技术。接触过3d视觉的读者应该知道，tof和结构光、双目立体视觉是近年来三种主流的3d成像方式。tof向场景中发射近红外光，利用光的飞行时间信息，测量场景中物体的距离。tof相比较另外两种3d成像方式，深度信息计算量小，抗干扰性强，测量范围远。种种优势推动了tof在机器人、交互以及其他工业领域中的应用。尤其是在移动端，已有多品牌手机，比如华为、oppo、苹果，将其用于手机后置摄像。
二．dtof和itof
了解了tof的概念之后，让我们再来深入了解一下两类tof的基本成像原理，也就是文章标题中提到的itof和dtof。
dtof，全称是direct time-of-flight。顾名思义，dtof直接测量飞行时间。dtof核心组件包含vcsel、单光子雪崩二极管spad和时间数字转换器tdc。single photon avalanche diode(spad)是一种具有单光子探测能力的光电探测雪崩二极管，只要有微弱的光信号就能产生电流。dtof模组的vcsel向场景中发射脉冲波，spad接收从目标物体反射回来的脉冲波。time digital converter(tdc)能够记录每次接收到的光信号的飞行时间，也就是发射脉冲和接收脉冲之间的时间间隔。dtof会在单帧测量时间内发射和接收n次光信号，然后对记录的n次飞行时间做直方图统计，其中出现频率最高的飞行时间t用来计算待测物体的深度。
图1是dtof单个像素点记录的光飞行时间直方图，其中，高度最高的柱对应的时间就是该像素点的最终光飞行时间。
dtof的原理看起来虽然很简单，但是实际能达到较高的精度很困难。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而dtof中的核心组件spad由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究dtof的厂家并不多，更多的是在研究和推动itof。
itof的概念和dtof相对应，全称是indirect time-of-flight，直译就是间接光飞行时间。所谓间接，就是指itof是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。
itof向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光（积分）时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。如图2所示。
图2. itof成像原理示意图[1]
itof模组的核心组件包含vcsel和图像传感器。vcsel发射特定频率的调制红外光。图像传感器在曝光（积分）时间内接收反射光并进行光电转换。曝光（积分）结束后将数据读出，经过一个模拟数字转换器再传给计算单元，最终由计算单元计算每个像素的相位偏移。itof计算深度的方式通常是采用4-sampling-bucket算法，利用4个相位延迟为0°，90°，180°和270°的采样信号计算深度。如图3所示
图3. 连续波调制方式测相位偏移原理示意图[2]
三．性能对比
dtof和itof虽然都是利用光飞行时间技术，但是两者在测距原理和硬件实现上都有差异。软硬件的差异会导致这两类tof在各方面的性能表现上各有千秋。
衡量tof的性能指标，需要考虑几个方面。因为tof是一个可以测距的相机，作为一个测距设备，基本的评价指标有测距精度和有效探测距离。其次，作为相机而言，图像分辨率也是一个重要的评价指标。此外，由于tof本身只能提供3d信息，它将来更多的发展是集成到3d相关的应用，比如3d建模、ar以及移动平台。在集成到其他3d相关的应用时，尤其是移动端和机器人平台，必须要考虑它的能耗和成本，以及在各种复杂场景下的抗干扰能力。以上的这些特性，决定了dtof和itof有着各自适用的应用场景。
接下来，本文会从精度、有效探测距离、图像分辨率、能耗、成本、抗干扰等7个方面，对比itof和dtof的优劣。
精度
总的来说，目前的itof深度精度在 cm 级，并且随着测量距离的增大，反射光的强度减小，相位测量的信噪比减小，绝对误差也会随之增大。
有效探测距离
有效探测距离指相机能够输出可靠深度的距离范围，可靠深度意味着该深度值和真实值的误差小于一定阈值。举个简单的例子，假设测量误差在2cm以内时，我们视作该深度值是可靠的。如果一个tof模组测量5米的物体时，测量值是5.02米，误差刚好达到了预先定义的极限。当物体位于5.01米时，测量值是5.22米，误差超出了2cm。我们就可以说该tof模组的有效探测距离是5米。
当然，限制tof的有效探测距离的主要因素之一是相位模糊现象。
对于dtof而言，当测量距离较远时，光飞行一个来回的时间超过了两次连续发射脉冲的间隔，传感器在发射第二个测量信号后，才接收到第一个测量信号的反射波，就会把该反射波错认为是第二个测量信号的近距离反射波，这时就会出现相位模糊现象。如图4所示。图4中case1表示的是近距离场景下dtof的测距原理图，case2表示的是远距离场景下，发生相位模糊现象的测距原理图。
§ dtof会受到测量频率（相邻两次测量的间隔时间）限制，itof的有效探测距离会受到调制光的频率限制。dtof在测量远距离物体时，可以适当增加两次测量之间的间隔，减少测量次数。但是，减少测量次数会同时降低测量精度，相当于是用精度换取有效探测距离。而itof也可以通过降低调制光的频率，从而牺牲一定的测量精度以获得更远的有效探测距离。
对于itof而言，可以利用双频解决相位模糊现象。利用两个不同频率的测量数据去求解相位模糊度，从而恢复正确深度值。借助双频测量可以同时实现高精度测量和高有效探测距离。
能耗
从发射信号来看， dtof则采用 级的脉冲激光，itof目前大多采用连续波调制。相比较而言，脉冲波能够达到超低占空比，所以功耗也较低。
从光照模式来看，由于dtof的测量精度不会随着测量距离的增大而降低，所以功耗也会相对较低。反之，itof目前采用的大多是面光发射方式。并且，随着测量距离的增大，itof需要提高光照功率或者延长曝光时间来获取更高的精度，所需的功耗也会大幅增加。
成本
dtof采用的是数字电路架构，不需要模数转换。itof采用的是模拟电路结构，需要模数转换芯片。
对于整体的硬件架构而言，dtof的核心组件spad的制作工艺复杂，现有的资源少。itof没有这方面的顾虑。
在系统集成方面， dtof还需要额外的时间处理电路，系统集成难度较高。itof的系统集成容易，不需要额外的测量电路。
抗环境干扰
环境干扰包括场景中环境光干扰、多路径反射光干扰以及不同表面灰度等影响。这一类环境干扰发生在外界，和tof本身的关系不大，环境干扰的差异主要是由不同tof的测距原理引起的。
dtof单帧深度图获取时，会经历多次重复测量，并且采用时间直方图统计的方式计算飞行时间，比较容易区分信号中的干扰成分。抗环境干扰能力更强。
itof在曝光阶段，部分环境光混杂在调制光中被传感器接收，然后计算相位偏移。无法从单次测量的结果中区分出环境光引起的干扰。环境光越强，相应的，引起的深度误差也越大。
应用场景
dtof功耗低，并且体积小巧，更加适合工业机器人等需快速进行测距避障检测的应用，以及其他在空间受限的紧凑型设计中。
dtof抗环境干扰表现比较好，目前在户外场景下的测距精度比itof更加高，在户外应用场景中也比较占优。
dtof的时间分辨率高，测量距离增大时精度不会大幅衰减，能耗也不会大幅提升，在ar应用中的优势也比较显著。
itof的图像分辨率较高，在物体识别，3d重建以及行为分析等应用场景中能够重现场景中更多的细节信息，在机器人、新零售等应用领域占优。
dtof和itof两者的目标都是输出一幅高质量的深度图像，所以两者都需要深度数据层面的滤波和噪声修正，比如空域滤波、点云域的噪声滤波以及非一致性像素校准等。此外，两者都拥有透镜成像系统，所以无论是dtof还是itof，都需要透镜失真补偿。硬件的温度变化带来的噪声也同时存在于两种tof中，所以温度补偿也是两者所必需的。
dtof是发射脉冲波，而不是特定频率的调制波，所以dtof不需要做和调制光的频率相关的处理，包括频率校准、自动频率选择、高动态范围（hdr）。但是dtof的发射脉冲也有一定的频率，即相邻两个发射脉冲之间的时间间隔，dtof的频率校准和发射脉冲的频率相关。dtof仅仅输出深度图，而itof同时输出深度图和幅值图，所以dtof不需要做幅值校准。
此外，由场景干扰引起的多径、相位模糊、运动模糊、内反射等都是两者所共有的问题，虽然dtof因为成像原理的特性具有更好的抗环境干扰能力，但是还是会受到这一类场景干扰的影响。不过不同的是，因为dtof和itof的成像原理不同，两者所需要的深度修正方式也会有所差异。
dtof和itof两者因为测距原理和硬件架构的不同，各方面的性能互有优劣，适用场景也不尽相同。两者均面临场景的适应性，如何在任意场景下获取可靠和准确的深度数据是非常大的技术挑战，是tof技术普及的关键。tof应用技术的普及有赖于3d isp增强引擎来消除干扰，降低功耗，提高实时性能；需要面向3d行业的isp ip及中间件，有力支撑上层应用。所以说3d isp是3d成像市场爆发的必要条件。数迹智能团队正在研发3d tof isp smart3d-isp，以isp技术为核心系统性地提升无论是dtof还是itof的性能并降低功耗和成本是多年来的研发目标，将我们的3d tof技术植入每部手机、每辆汽车、每个机器人、每台家电，从而改变机器对世界的“看法”，实现深度的智能。
苹果13手机价格表官网报价
Win7时代落幕 今天起微软开始停止支持Windows7
优越者Y-C196GY拆解 耐用及便携性是其优势所在
2023年内存市场发展趋势：技术升级，新兴应用需求旺盛
中国十大动力电池企业详细解析
dToF和iToF的成像原理
有问必答！全球首台NDI转播车统一答疑
基于热释电效应的点型红外火焰探测器概述
将壁挂式卫星天线改为地盘式,Satellite antenna fixing
北斗全球组网完成只差一星了
I2C接口信号_I2C字节传输格式和应用框图
供应商的“集体沦陷”，背后的原因何在呢？
一文解析单片机的发展情况
RFID可视化资产管理系统解决方案
火焰探测器工作原理
Vishay推出可在+155°C高温下连续工作的7575封装尺寸汽车级IHLP®电感器
利用TMS320DM6437和SAA7126H芯片实现嵌入式客流量统计模块的设计
东芝存储产品无处不在，跟随东芝创领未来
人工智能在企业应用的反思
达实亮相2023四川电气年会，分享物联网技术在智慧建筑的创新设计
新款ipad pro搭载的pro级摄像头不仅包含了全新的超广角摄像头，还包含了一款激光雷达扫描仪。该扫描仪利用dtof技术，结合运动传感器和ipados内的架构，可以进行深度测量，为增强现实及更广泛的领域开启无尽可能。
那么dtof是什么呢，它和我们之前市面上已有的itof又有什么不同呢？
本文将会介绍dtof和itof的成像原理，对比分析dtof和itof两者的差异性，带领大家了解一下tof领域。
一．tof
首先，让我们先来了解一下tof的基本概念。
time-of-flight(tof)，顾名思义，是一种利用光飞行时间的技术。接触过3d视觉的读者应该知道，tof和结构光、双目立体视觉是近年来三种主流的3d成像方式。tof向场景中发射近红外光，利用光的飞行时间信息，测量场景中物体的距离。tof相比较另外两种3d成像方式，深度信息计算量小，抗干扰性强，测量范围远。种种优势推动了tof在机器人、交互以及其他工业领域中的应用。尤其是在移动端，已有多品牌手机，比如华为、oppo、苹果，将其用于手机后置摄像。
二．dtof和itof
了解了tof的概念之后，让我们再来深入了解一下两类tof的基本成像原理，也就是文章标题中提到的itof和dtof。
dtof，全称是direct time-of-flight。顾名思义，dtof直接测量飞行时间。dtof核心组件包含vcsel、单光子雪崩二极管spad和时间数字转换器tdc。single photon avalanche diode(spad)是一种具有单光子探测能力的光电探测雪崩二极管，只要有微弱的光信号就能产生电流。dtof模组的vcsel向场景中发射脉冲波，spad接收从目标物体反射回来的脉冲波。time digital converter(tdc)能够记录每次接收到的光信号的飞行时间，也就是发射脉冲和接收脉冲之间的时间间隔。dtof会在单帧测量时间内发射和接收n次光信号，然后对记录的n次飞行时间做直方图统计，其中出现频率最高的飞行时间t用来计算待测物体的深度。
图1是dtof单个像素点记录的光飞行时间直方图，其中，高度最高的柱对应的时间就是该像素点的最终光飞行时间。
dtof的原理看起来虽然很简单，但是实际能达到较高的精度很困难。除了对时钟同步有非常高的精度要求以外，还对脉冲信号的精度有很高的要求。普通的光电二极管难以满足这样的需求。而dtof中的核心组件spad由于制作工艺复杂，能胜任生产任务的厂家并不多，并且集成困难。所以目前研究dtof的厂家并不多，更多的是在研究和推动itof。
itof的概念和dtof相对应，全称是indirect time-of-flight，直译就是间接光飞行时间。所谓间接，就是指itof是通过测量相位偏移来间接测量光的飞行时间，而不是直接测量光飞行时间。
itof向场景中发射调制后的红外光信号，再由传感器接收场景中待测物体反射回来的光信号，根据曝光（积分）时间内的累计电荷计算发射信号和接收信号之间的相位差，从而获取目标物体的深度。如图2所示。
图2. itof成像原理示意图[1]
itof模组的核心组件包含vcsel和图像传感器。vcsel发射特定频率的调制红外光。图像传感器在曝光（积分）时间内接收反射光并进行光电转换。曝光（积分）结束后将数据读出，经过一个模拟数字转换器再传给计算单元，最终由计算单元计算每个像素的相位偏移。itof计算深度的方式通常是采用4-sampling-bucket算法，利用4个相位延迟为0°，90°，180°和270°的采样信号计算深度。如图3所示
图3. 连续波调制方式测相位偏移原理示意图[2]
三．性能对比
dtof和itof虽然都是利用光飞行时间技术，但是两者在测距原理和硬件实现上都有差异。软硬件的差异会导致这两类tof在各方面的性能表现上各有千秋。
衡量tof的性能指标，需要考虑几个方面。因为tof是一个可以测距的相机，作为一个测距设备，基本的评价指标有测距精度和有效探测距离。其次，作为相机而言，图像分辨率也是一个重要的评价指标。此外，由于tof本身只能提供3d信息，它将来更多的发展是集成到3d相关的应用，比如3d建模、ar以及移动平台。在集成到其他3d相关的应用时，尤其是移动端和机器人平台，必须要考虑它的能耗和成本，以及在各种复杂场景下的抗干扰能力。以上的这些特性，决定了dtof和itof有着各自适用的应用场景。
接下来，本文会从精度、有效探测距离、图像分辨率、能耗、成本、抗干扰等7个方面，对比itof和dtof的优劣。
精度
总的来说，目前的itof深度精度在 cm 级，并且随着测量距离的增大，反射光的强度减小，相位测量的信噪比减小，绝对误差也会随之增大。
有效探测距离
有效探测距离指相机能够输出可靠深度的距离范围，可靠深度意味着该深度值和真实值的误差小于一定阈值。举个简单的例子，假设测量误差在2cm以内时，我们视作该深度值是可靠的。如果一个tof模组测量5米的物体时，测量值是5.02米，误差刚好达到了预先定义的极限。当物体位于5.01米时，测量值是5.22米，误差超出了2cm。我们就可以说该tof模组的有效探测距离是5米。
当然，限制tof的有效探测距离的主要因素之一是相位模糊现象。
对于dtof而言，当测量距离较远时，光飞行一个来回的时间超过了两次连续发射脉冲的间隔，传感器在发射第二个测量信号后，才接收到第一个测量信号的反射波，就会把该反射波错认为是第二个测量信号的近距离反射波，这时就会出现相位模糊现象。如图4所示。图4中case1表示的是近距离场景下dtof的测距原理图，case2表示的是远距离场景下，发生相位模糊现象的测距原理图。
§ dtof会受到测量频率（相邻两次测量的间隔时间）限制，itof的有效探测距离会受到调制光的频率限制。dtof在测量远距离物体时，可以适当增加两次测量之间的间隔，减少测量次数。但是，减少测量次数会同时降低测量精度，相当于是用精度换取有效探测距离。而itof也可以通过降低调制光的频率，从而牺牲一定的测量精度以获得更远的有效探测距离。
对于itof而言，可以利用双频解决相位模糊现象。利用两个不同频率的测量数据去求解相位模糊度，从而恢复正确深度值。借助双频测量可以同时实现高精度测量和高有效探测距离。
能耗
从发射信号来看， dtof则采用 级的脉冲激光，itof目前大多采用连续波调制。相比较而言，脉冲波能够达到超低占空比，所以功耗也较低。
从光照模式来看，由于dtof的测量精度不会随着测量距离的增大而降低，所以功耗也会相对较低。反之，itof目前采用的大多是面光发射方式。并且，随着测量距离的增大，itof需要提高光照功率或者延长曝光时间来获取更高的精度，所需的功耗也会大幅增加。
成本
dtof采用的是数字电路架构，不需要模数转换。itof采用的是模拟电路结构，需要模数转换芯片。
对于整体的硬件架构而言，dtof的核心组件spad的制作工艺复杂，现有的资源少。itof没有这方面的顾虑。
在系统集成方面， dtof还需要额外的时间处理电路，系统集成难度较高。itof的系统集成容易，不需要额外的测量电路。
抗环境干扰
环境干扰包括场景中环境光干扰、多路径反射光干扰以及不同表面灰度等影响。这一类环境干扰发生在外界，和tof本身的关系不大，环境干扰的差异主要是由不同tof的测距原理引起的。
dtof单帧深度图获取时，会经历多次重复测量，并且采用时间直方图统计的方式计算飞行时间，比较容易区分信号中的干扰成分。抗环境干扰能力更强。
itof在曝光阶段，部分环境光混杂在调制光中被传感器接收，然后计算相位偏移。无法从单次测量的结果中区分出环境光引起的干扰。环境光越强，相应的，引起的深度误差也越大。
应用场景
dtof功耗低，并且体积小巧，更加适合工业机器人等需快速进行测距避障检测的应用，以及其他在空间受限的紧凑型设计中。
dtof抗环境干扰表现比较好，目前在户外场景下的测距精度比itof更加高，在户外应用场景中也比较占优。
dtof的时间分辨率高，测量距离增大时精度不会大幅衰减，能耗也不会大幅提升，在ar应用中的优势也比较显著。
itof的图像分辨率较高，在物体识别，3d重建以及行为分析等应用场景中能够重现场景中更多的细节信息，在机器人、新零售等应用领域占优。
dtof和itof两者的目标都是输出一幅高质量的深度图像，所以两者都需要深度数据层面的滤波和噪声修正，比如空域滤波、点云域的噪声滤波以及非一致性像素校准等。此外，两者都拥有透镜成像系统，所以无论是dtof还是itof，都需要透镜失真补偿。硬件的温度变化带来的噪声也同时存在于两种tof中，所以温度补偿也是两者所必需的。
dtof是发射脉冲波，而不是特定频率的调制波，所以dtof不需要做和调制光的频率相关的处理，包括频率校准、自动频率选择、高动态范围（hdr）。但是dtof的发射脉冲也有一定的频率，即相邻两个发射脉冲之间的时间间隔，dtof的频率校准和发射脉冲的频率相关。dtof仅仅输出深度图，而itof同时输出深度图和幅值图，所以dtof不需要做幅值校准。
此外，由场景干扰引起的多径、相位模糊、运动模糊、内反射等都是两者所共有的问题，虽然dtof因为成像原理的特性具有更好的抗环境干扰能力，但是还是会受到这一类场景干扰的影响。不过不同的是，因为dtof和itof的成像原理不同，两者所需要的深度修正方式也会有所差异。
dtof和itof两者因为测距原理和硬件架构的不同，各方面的性能互有优劣，适用场景也不尽相同。两者均面临场景的适应性，如何在任意场景下获取可靠和准确的深度数据是非常大的技术挑战，是tof技术普及的关键。tof应用技术的普及有赖于3d isp增强引擎来消除干扰，降低功耗，提高实时性能；需要面向3d行业的isp ip及中间件，有力支撑上层应用。所以说3d isp是3d成像市场爆发的必要条件。数迹智能团队正在研发3d tof isp smart3d-isp，以isp技术为核心系统性地提升无论是dtof还是itof的性能并降低功耗和成本是多年来的研发目标，将我们的3d tof技术植入每部手机、每辆汽车、每个机器人、每台家电，从而改变机器对世界的“看法”，实现深度的智能。
苹果13手机价格表官网报价
Win7时代落幕 今天起微软开始停止支持Windows7
优越者Y-C196GY拆解 耐用及便携性是其优势所在
2023年内存市场发展趋势：技术升级，新兴应用需求旺盛
中国十大动力电池企业详细解析
dToF和iToF的成像原理
有问必答！全球首台NDI转播车统一答疑
基于热释电效应的点型红外火焰探测器概述
将壁挂式卫星天线改为地盘式,Satellite antenna fixing
北斗全球组网完成只差一星了
I2C接口信号_I2C字节传输格式和应用框图
供应商的“集体沦陷”，背后的原因何在呢？
一文解析单片机的发展情况
RFID可视化资产管理系统解决方案
火焰探测器工作原理
Vishay推出可在+155°C高温下连续工作的7575封装尺寸汽车级IHLP®电感器
利用TMS320DM6437和SAA7126H芯片实现嵌入式客流量统计模块的设计
东芝存储产品无处不在，跟随东芝创领未来
人工智能在企业应用的反思
达实亮相2023四川电气年会，分享物联网技术在智慧建筑的创新设计