苹果mr头显vision pro被业界关注,另有消息称华为在2024年规划2款产品,一个是与vision pro、quest和pico方案类似的mr头显,预计2024年q3或者q4发布;另一个是与魅族myvu衍射光波导ar眼镜类似的产品,发布时间晚于mr头显。
苹果和华为入局能否推动xr(包括ar、vr、mr)行业进一步发展?根据网传的华为mr调研显示,苹果vision pro第一代销量主要起到“教育”用户的作用,根据大致的供货数据显示大约40多万台,销量不大的另一个原因是屏幕供应商、索尼的产能不足影响。第二代vision pro可能在2025年推出,是一款低配版或标准版,销量为几百万台,第三代产品的销量可能超过千万台。与苹果mr头显类似,华为的第一代头显销量也不会太大。
xr应用培养用户群体需要良好的产品沉浸式体验,底层硬件不可获取,其中,tof(time of flight)传感器是一种比较重要的元器件,影响xr产品的感知和交互功能,下面将介绍tof传感器的xr应用和主要厂商。
tof是更适合xr应用的3d成像技术
tof传感器在xr应用中用于提供精确的深度感知、环境扫描功能,主要用途包括:
l 空间映射(mapping)和追踪:帮助mr头戴设备创建用户周围环境的3d模型,实现精准的空间定位和6自由度追踪,使得虚拟内容可以准确地融入现实世界并与之交互。
l 环境理解和避障:实时感知环境中物体的位置和形状,以便系统能够在安全的距离内放置虚拟对象或进行交互设计,避免用户碰撞真实物体。
l 手势识别:tof传感器可用于捕捉手部动作,实现无需手持控制器的自然手势交互。
tof传感器的作用之一是3d成像,分别针对空间定位与建模、动态手势识别以及对环境深度信息的全面理解与反应。实际上还有其他2种成像技术,包括立体视觉(stereo vision)、结构光(structured light)。
图注:与其他3d成像技术相比,tof更适用于3d映射(图源:yole)
立体视觉的3d成像分辨率高、精度高、抗强光干扰性强、成本低,但是算法非常复杂、容易受到环境因素干扰、依赖环境光源、暗光场景表现不佳、模组尺寸相对较大等。
结构光有效识别距离相对较短,模组结构比较复杂,成像容易受强光干扰,成本也相对较高,但是其通过一次成像就可以得到深度信息,能耗低、成像分辨率高,非常适合对安全级别要求较高的3d人脸识别、3d人脸支付等方面的应用。
tof技术虽然成像精度和深度图分辨率比结构光低、功耗较高,优势在于识别距离更远,可做到0.4米到5米甚至更远的中远距离识别,抗干扰性强,使tof技术不仅应用于3d人脸识别、3d建模等方面,还适用于slam、手势识别、体感游戏、ar/vr等,应用更加广泛。
图注:itof和dtof在移动终端上design win案例(图源:yole)
tof根据发射光源的调制方式,有itof和dtof之分。itof发射连续波或短脉冲的调制近红外光,并测量反射光的相位差来确定距离。由于相位与光程成正比,因此可以根据接收到信号的相位变化计算出目标物体的距离。适合中远距离测距,但对环境光噪声敏感,需要复杂的信号处理算法以消除干扰。dtof发送的是超短光脉冲,然后精确测量这些脉冲从发射到接收的时间间隔,从而直接计算出绝对距离,其抗干扰能力强,能够实现快速准确的实时深度探测,适用于动态场景。
图注:传华为2024年发布的mr设备采用的3d传感器方案,其中dtof未确定是否采用。
主流产品形态:dtof阵列和多域dtof
tof产品形态有dtof array和dtof multizone之分,两者在设计和应用上存在一定的区别:dtof array是一系列并排排列或矩阵排列的多个dtof传感器单元,可以独立工作或协同工作,每个单元都能进行单独的光脉冲发射和接收,获取不同点位的深度信息。优势是能够提供大范围或高分辨率的深度数据采集,特别适合于需要大面积覆盖或者需要较高精度的3d扫描、空间感知和物体识别场景。
图注:dtof multizone能更好适应复杂环境条件,也适用于xr设备和无人机导航,但实际tof产品形态取决于功耗和成本等具体需求
dtof multizone是单个dtof传感器被划分为多个区域,虽然物理上可能仍然是一个整体,但功能上却能实现多区域独立操作。每个区域可能会有不同的光源发射策略(例如不同的波长或强度)以及各自的接收器来处理反射信号。调整各个区域的工作参数,dtof multizone技术可以更好地适应复杂的环境条件,比如减小干扰、区分距离相近或材质不同的目标,并且可以在单个硬件模块上实现更精细化的距离测量,提高系统抗干扰能力和测距准确性。
总结来说,dtof array强调的是多个传感器单元的集成和同时工作以提高空间分辨率或覆盖面积,而dtof multizone则是在单一传感器内部实现分区控制和优化,目的是增强对复杂环境和多种目标的适应性及测量精准度。
图注:海外tof主要厂商
图注:国内tof芯片/模组厂商
tof传感器产品示例adi:提供全面的tof产品和方案
adi提供各种tof产品和解决方案,包括高分辨率cmos成像芯片(1mp)、深度计算和毫米级精度处理、激光驱动器和电源管理,以及有助于快速实施tof和itof解决方案的开发工具和软件/固件。
产品示例:结合adtf3175 tof模块和adsd3500 tof深度图像信号处理器,为深度相机提供完整的解决方案。
艾迈斯欧司朗:业界唯一拥有3种3d成像技术的厂商
艾迈斯欧司朗是目前唯一拥有3d传感三种主流技术(结构光、双目立体视觉和tof)的传感器领导厂商,可提供更小尺寸、低功耗、高精度的整体解决方案。其新的3d dtof系统将高功率vcsel、点阵光学系统和高灵敏度spad等一流技术组合在一起,准确测量场景中各物体的景深,并转换为精确的场景重建,让虚拟现实体验更具身临其境的真实感。
产品示例:红外oslon®黑色系列sfh 4715s/ 4715as和synios®系列等,提供红外照明光源,可以最大程度确保虚拟现实3d场景体验的流畅性。
英飞凌:拥有400多项tof专利
自2015年宣布在消费领域推出第一代的tof产品至今,英飞凌在tof领域已经有400多项专利。英飞凌tof技术在强光情况下能较好规避太阳光干扰,sbi专利技术能去掉不需要的光信息,让有效的光信息通过,在强光下能得到比较好的物体深度信息。
产品示例:英飞凌real3™ tof 3d技术可以用于机器人移动时对整个场景的建图、定位,实现精准避障,并给上层的路径规划算法,提供更多数据输入。
芯视界:自研单光子dtof芯片性能远超索尼
芯视界研发单光子直接tof(spad dtof)技术和应用,拥有芯片级的光电转换器件设计和单光子检测成像技术,主营基于单光子探测的一维和三维tof传感器。产品广泛应用于扫地机、无人机、手机、ar/vr和自动驾驶激光雷达等。
产品示例:单光子探测技术的3d tof深度传感器—vi4331,该传感器分辨率高达240×96,支持水平120度广视场角,拥有30fps高帧率,适用于扫地机室内建模与避障、行为检测、安检监控等。
聚芯微:累计出货3亿颗芯片
聚芯微自研3d tof芯片和光学感知芯片。其3d tof芯片具有比较先进的近红外增强nir+、低噪声信号链、低功耗数字电路设计。截止2023年,聚芯微已累计出货超3亿颗。
产品示例:bsi 5um vga itof 传感器,已获主流手机客户订单并量产。此外,3d dtof图像传感器芯片sif7010是其第一款3d堆叠dtof,小尺寸、低成本、低功耗,可实现更好的全场景auto-focus、背景虚化人像模式、电影模式等,适用于场景建模和ar/vr应用。
简述温湿度试验箱的四大选购要点
点焊机可以焊接什么_点焊机安全操作规程
特斯拉测试版软件更新,使得人工干预需求减少了30%
开发套件提供Zigbee设计解决方案
碳化硅的布局和领先优势
分析 丨ToF传感器的XR应用和主要厂商
家庭影院套装的电视制式
松下蓄电池产品型号说明
移动储能领军品牌正浩EcoFlow发布双十二战报
边缘计算产业仍不太成熟,需解决两大技术问题
物联网安全的注意事项一般都有哪些
显卡的价格应该已经到底了不会再便宜了
"新基建”为智能网联汽车进一步发展提供了基础端的支撑
5G时代,视频业务发展迎来爆发期,运营商该如何抓住这一风口
MITEQ无源组件中适配器的应用领域都有哪些
韩国摆脱日本道阻且长,5G建设的重要零部件依赖于日本
AHK432构成的电子负载电路
北斗、三一联袂缔造无人机生态圈 能改变世界?
苹果AirPower 无线充电板和充电盒将有可能3月起出货
以后的电脑长这样:只有显示屏,真正的计算位于数据中心