Apple Vision Pro的空间计算与主要芯片
在wwdc 2023 开发者大会上，苹果宣布了其操作系统和产品的一系列升级。但最大亮点是apple vision pro，苹果的首款混合现实（mixed reality，mr，即vr+ar）设备，一经发布就成为世界热议的焦点。
“今天标志着计算技术新时代的开端。”苹果ceo库克说，“如同 mac将我们带入个人计算时代，iphone将我们带入移动计算时代，apple vision pro将带我们进入空间计算时代。
01
空间计算
空间计算是麻省理工学院simon greenwold 在其2003 年的论文中引入的一个术语。空间计算的实用化建立在人工智能 (ai) 、计算机视觉、芯片与传感器的技术进步之上。典型的空间计算包括自动化仓储、自动驾驶、工业制造、教育培训、游戏娱乐等应用场景。
例如在自动驾驶领域，通过多传感器融合和多模态计算，来识别周边环境、移动物体和人就是典型的空间计算。通过更强的算法和芯片，车辆就可以挑战更复杂的地形和驾驶场景。
空间计算市场的年复合增长率为18.3%空间计算可以用人工智能、物联网、增强现实等技术取代旧场景的计算。据国外市场研究机构评估，新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高，空间计算解决方案的需求会产生18.3%的年复合增长率。
3自由度与6自由度对比（来源：qualcomm） mr 感知和重建现实使用slam技术来完成，该技术经常使用在自动驾驶和机器人领域。基于slam技术扫视周围环境信息， 使用二维图像构建三维空间。 据称apple vision pro 具备6自由度（6 dof- degree of freedom）级别，用户视角在虚拟场景中不仅可以在俯仰、偏摆及翻滚三个维度旋转，用户的身体还可以在前后、上下、左右三个互相垂直的坐标轴上进行运动。
典型的3自由度与6自由度xr产品（来源：raddit）
02 传感器处理芯片r1
apple vision pro的核心芯片包括传感器处理芯片r1和计算芯片m2。除了这两颗核心芯片外，apple vision pro还具有17个传感器、6个麦克风和两块4k级别的micro led作为显示。 据苹果称，新的r1芯片可减少 vr 中的晕动症，其多模态处理时间仅为 12 毫秒。r1芯片是首次在苹果产品家族中正式亮相，目前披露的消息还很少。
r1与m2是apple vision pro的核心处理器（来源：apple） 在ios 13 中的代码，早就揭示了这一新的协处理器的存在。r是其研发代号“rose”的简写，当然我们也可以猜测r也代表了reality。rose 协处理器的第一个迭代版本 r1 (t2006) 有点类似于 apple 的 m 系列运动协处理器，可以计算设备在空间中的位置，其核心功能是从主系统处理器中卸载大量的传感器数据处理工作。
r1架构与周边连接估计（作者团队绘制，转载请注明来源）
早先的apple m系列运动协处理器可以在系统主芯片休眠时，持续收集、处理和存储传感器数据的功能，方便应用程序在设备启动时检索数据。这减少了设备的功耗并延长了电池寿命。我们猜测r1处理器也有类似的功能。
r1 的特别之处在于比之前的运动协处理器接入了更多的传感器，具备更强的处理能力，以生成更准确的设备位置图。
r1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据，并增加了惯性测量单元 (imu)、蓝牙 5.1、超宽带 (uwb) 和摄像头（包括运动捕捉和光学跟踪）传感器数据的多模态计算支持。其中蓝牙 5.1 的到达角 (aoa) 和出发角 (aod) 功能可实现蓝牙测向。
考虑到r1芯片对接的传感器需要实时计算，可以预估r1是一颗低功耗低延迟的多模态传感器融合计算芯片，其上定制了传感器常用的算子电路，并且具备npu来支持基于ai的传感器算法。
m2主要指标
03 应用处理器m2芯片
apple m2 是 apple 的片上系统 (soc)，之前已经用于macbook air 和 macbook pro 13。
m2架构（来源：苹果）
m2具有8 个cpu内核，分为4个性能内核和4个能效内核。性能内核提供 192 kb 指令缓存、128 kb 数据缓存和 16 mb 共享二级缓存。效率内核要小一些，仅提供 128 kb 指令缓存、64 kb 数据缓存和 4 mb 共享缓存。效率内核时钟频率为2.4 ghz，性能内核的时钟频率则到达 3.5 ghz。另外m2 中的集成显卡提供8-10 个内核以及 3.6 tflops 的峰值算力。
此外，soc 集成了一个具有 16 tops 峰值性能的高速16 核神经网络加速器（属于dsa，用于 ai 计算加速）。 m2算是vision pro里的电老虎了，占据了主要的功耗。
m2与m1对比
m2特色是其采用统一的 cpu 和 gpu 内核内存架构，支持高达 24 gb lpddr5-6400，带宽高达 100gb/s。内置于 m2 芯片中的统一内存架构意味着 cpu、gpu 和其他处理器组件无需在彼此之间重复复制数据，并且能够访问统一的数据池。
重型设备使用物联网技术会变得怎样
Uber和Grab准备合并，新加坡竞争和消费者委员会意欲阻拦
Virtex UltraScale器件的优点
纯电动超跑蔚来EP93月进入国内 将有机会免费试驾
真正的区块链应用应该是什么样子的
Apple Vision Pro的空间计算与主要芯片
从入门到应用，关于LTC3115同步降压-升压转换器
色谱柱的使用及如何进行日常维护
一加5最新消息：五倍无损变焦很无敌！
土壤水分测定仪具有哪些特点
具有保护功能的单芯片电池电量监测计
管理test case结束机制介绍
格力空调通用维修技术资料
戴尔科技集团用x86服务器和小型机来承载Oracle RAC这种高端场景？
织物感应式静电测试仪的各项技术参数是什么
orinda无线网桥BR5822/BR5822EO
MAX3948中文介绍
HoloLens新专利，可通过三种方案，扩大FOV
什么是CMOS平板探测器？CMOS与非晶硅技术的异同点
结合Abaqus软件对锂离子动力电池制造过程的挤压式涂布工序进行研究
“今天标志着计算技术新时代的开端。”苹果ceo库克说，“如同 mac将我们带入个人计算时代，iphone将我们带入移动计算时代，apple vision pro将带我们进入空间计算时代。
01
空间计算
空间计算是麻省理工学院simon greenwold 在其2003 年的论文中引入的一个术语。空间计算的实用化建立在人工智能 (ai) 、计算机视觉、芯片与传感器的技术进步之上。典型的空间计算包括自动化仓储、自动驾驶、工业制造、教育培训、游戏娱乐等应用场景。
例如在自动驾驶领域，通过多传感器融合和多模态计算，来识别周边环境、移动物体和人就是典型的空间计算。通过更强的算法和芯片，车辆就可以挑战更复杂的地形和驾驶场景。
空间计算市场的年复合增长率为18.3%空间计算可以用人工智能、物联网、增强现实等技术取代旧场景的计算。据国外市场研究机构评估，新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高，空间计算解决方案的需求会产生18.3%的年复合增长率。
3自由度与6自由度对比（来源：qualcomm） mr 感知和重建现实使用slam技术来完成，该技术经常使用在自动驾驶和机器人领域。基于slam技术扫视周围环境信息， 使用二维图像构建三维空间。 据称apple vision pro 具备6自由度（6 dof- degree of freedom）级别，用户视角在虚拟场景中不仅可以在俯仰、偏摆及翻滚三个维度旋转，用户的身体还可以在前后、上下、左右三个互相垂直的坐标轴上进行运动。
典型的3自由度与6自由度xr产品（来源：raddit）
02 传感器处理芯片r1
apple vision pro的核心芯片包括传感器处理芯片r1和计算芯片m2。除了这两颗核心芯片外，apple vision pro还具有17个传感器、6个麦克风和两块4k级别的micro led作为显示。 据苹果称，新的r1芯片可减少 vr 中的晕动症，其多模态处理时间仅为 12 毫秒。r1芯片是首次在苹果产品家族中正式亮相，目前披露的消息还很少。
r1与m2是apple vision pro的核心处理器（来源：apple） 在ios 13 中的代码，早就揭示了这一新的协处理器的存在。r是其研发代号“rose”的简写，当然我们也可以猜测r也代表了reality。rose 协处理器的第一个迭代版本 r1 (t2006) 有点类似于 apple 的 m 系列运动协处理器，可以计算设备在空间中的位置，其核心功能是从主系统处理器中卸载大量的传感器数据处理工作。
r1架构与周边连接估计（作者团队绘制，转载请注明来源）
早先的apple m系列运动协处理器可以在系统主芯片休眠时，持续收集、处理和存储传感器数据的功能，方便应用程序在设备启动时检索数据。这减少了设备的功耗并延长了电池寿命。我们猜测r1处理器也有类似的功能。
r1 的特别之处在于比之前的运动协处理器接入了更多的传感器，具备更强的处理能力，以生成更准确的设备位置图。
r1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据，并增加了惯性测量单元 (imu)、蓝牙 5.1、超宽带 (uwb) 和摄像头（包括运动捕捉和光学跟踪）传感器数据的多模态计算支持。其中蓝牙 5.1 的到达角 (aoa) 和出发角 (aod) 功能可实现蓝牙测向。
考虑到r1芯片对接的传感器需要实时计算，可以预估r1是一颗低功耗低延迟的多模态传感器融合计算芯片，其上定制了传感器常用的算子电路，并且具备npu来支持基于ai的传感器算法。
m2主要指标
03 应用处理器m2芯片
apple m2 是 apple 的片上系统 (soc)，之前已经用于macbook air 和 macbook pro 13。
m2架构（来源：苹果）
m2具有8 个cpu内核，分为4个性能内核和4个能效内核。性能内核提供 192 kb 指令缓存、128 kb 数据缓存和 16 mb 共享二级缓存。效率内核要小一些，仅提供 128 kb 指令缓存、64 kb 数据缓存和 4 mb 共享缓存。效率内核时钟频率为2.4 ghz，性能内核的时钟频率则到达 3.5 ghz。另外m2 中的集成显卡提供8-10 个内核以及 3.6 tflops 的峰值算力。
此外，soc 集成了一个具有 16 tops 峰值性能的高速16 核神经网络加速器（属于dsa，用于 ai 计算加速）。 m2算是vision pro里的电老虎了，占据了主要的功耗。
m2与m1对比
m2特色是其采用统一的 cpu 和 gpu 内核内存架构，支持高达 24 gb lpddr5-6400，带宽高达 100gb/s。内置于 m2 芯片中的统一内存架构意味着 cpu、gpu 和其他处理器组件无需在彼此之间重复复制数据，并且能够访问统一的数据池。
重型设备使用物联网技术会变得怎样
Uber和Grab准备合并，新加坡竞争和消费者委员会意欲阻拦
Virtex UltraScale器件的优点
纯电动超跑蔚来EP93月进入国内 将有机会免费试驾
真正的区块链应用应该是什么样子的
Apple Vision Pro的空间计算与主要芯片
从入门到应用，关于LTC3115同步降压-升压转换器
色谱柱的使用及如何进行日常维护
一加5最新消息：五倍无损变焦很无敌！
土壤水分测定仪具有哪些特点
具有保护功能的单芯片电池电量监测计
管理test case结束机制介绍
格力空调通用维修技术资料
戴尔科技集团用x86服务器和小型机来承载Oracle RAC这种高端场景？
织物感应式静电测试仪的各项技术参数是什么
orinda无线网桥BR5822/BR5822EO
MAX3948中文介绍
HoloLens新专利，可通过三种方案，扩大FOV
什么是CMOS平板探测器？CMOS与非晶硅技术的异同点
结合Abaqus软件对锂离子动力电池制造过程的挤压式涂布工序进行研究