基于平面混合超构光学的微型彩色相机
据麦姆斯咨询报道，近日，英国科学与技术设施委员会、美国华盛顿大学（university of washington）、芬兰坦佩雷大学（tampere university）的研究人员组成的团队在science advances期刊上发表了题为“miniature color camera via flat hybrid meta-optics”的论文，提出了一种基于混合超构光学（meta-optics）的全彩色微型计算相机，使用硬件在环（hil）方法协同优化“端到端”设计架构中的混合超构光学和计算后端。本研究提出的混合超构光学相机的设计方法向超小型相机迈出了重要一步。
现代相机是为高质量成像而优化的复杂系统，通常由多个透镜组成，以克服色差和几何像差。然而，这种复杂性往往以牺牲尺寸和重量为代价。人们迫切需要将轻质、超薄和微型相机集成到下一代智能手机、无人机或即时医疗设备等移动平台中。因此，在保持高图像质量的同时，相机的微型化已经成为光学和光子学研究的主要推动力。计算成像是解决这一难题的方法之一，数字后端可以弥补光学组件的缺陷并提高图像质量，因此已成为光学、数学和数字图像处理交叉的多学科研究领域。
与此同时，近年来已取得的进展也推动了平面衍射光学元件（doe）领域的发展。虽然doe传统上用于非成像应用，但最近的一些工作已经证实了它们在成像方面的能力。特别是超构光学（一类亚波长doe）非常适合计算成像，因为它们能够以高空间分辨率在入射波前赋予任意自由形式的相位分布。尽管其光圈很小（500 μm），结合合适的计算后端，超构光学可以产生高质量的图像。一种特别有前景的方法是在“端到端”设计架构中协同优化超构光学和计算后端，其中硬件和软件得到同等考虑，从而确保最佳的系统级性能。
超构光学在计算成像中具有三个潜在的优势：（i）它们可以实现重要的尺寸和重量减小（厚度以微米为单位）；（ii）在扩展成像模式（例如高光谱成像、扩展景深和人脸识别）中，它们可以实现超越传统系统的性能；（iii）由于近几十年来纳米制造的巨大进步，几乎任意亚波长分辨率的波场操控成为可能。尽管存在这些优势，但是使用大光圈（>1 mm）超构光学采集的图像质量仍受到强烈色差和几何像差的困扰。已有研究表明，仅使用超构光学采集宽带图像存在根本的局限性。虽然复杂的超构原子（meta-atom）工程可以有所帮助，但是制造具有微型化特性的大光圈超构光学器件仍然具有挑战性。最后，开发大光圈超构光学的设计工具的计算成本极其昂贵。这带来了严峻的挑战，因为目前最先进的端到端设计方法主要涉及光学的数值建模。
在这项研究工作中，研究团队遵循其近期提出的设计方法，通过使用混合折射/超构光学系统和计算后端串联来规避所有这些挑战。所需的相位分布首先通过硬件在环（hil）策略进行优化，其中由空间光调制器（slm）实现的doe被配置和更新。同时，折射透镜和传感器保持固定。这不仅绕过了设计光学系统的昂贵的计算成本要求，而且还直接考虑了传感器噪声并排除了校准误差。优化的相位掩模被超构光学实现。相比仅使用超构光学的系统，混合光学系统可以改善超构光学的低光效率、像差和重建质量。研究人员使用简单的超构原子来确保可制造性，并且超构原子仅针对510 nm（slm工作的波长）进行设计。尽管只考虑了单一波长，但由于超构光学扩展了聚焦深度，研究人员仍然可以实现高质量的全彩色成像。因此，即使使用仅针对一种波长优化的简单超构原子，由于混合光学和计算后端，系统仍能实现高质量的宽带成像。所提出的成像系统的焦距和光圈为5 mm。为了说明这款相机的潜力，研究人员将其与仅使用单透镜配置、索尼alpha 1 iii无反商用相机的复合多透镜光学系统进行了比较。这一比较证实了超构混合光学在全彩色成像中的有效性，而本研究所设计的混合超构光学相机的体积比无反商用相机小约108倍。
由于超构光学中涉及大量散射体，全彩色、大光圈混合光学的设计成本极其昂贵。研究人员使用硬件在环配置弥补了从理论建模到实际应用的巨大差距，如图1a所示，他们使用端到端设计架构来优化doe相位分布和相应计算后端。图1a中的逐像素可编程相位slm充当占位符来实现doe的相位分布，它被迭代更新，同时计算后端被协同优化。按照研究团队在之前研究中提出的方法，这种优化产生了如图1b所示的相位分布。尽管在此配置中采集的图像是模糊的，但协同优化的计算后端可以恢复图像并生成高质量的全对焦全彩色图像。这在三维（3d）场景示例的相同配置中直接得到了证实，而不同深度的特征被放大以凸出高成像质量。
图1 在端到端架构中协同优化混合超构光学和逆成像的硬件在环方法示意图
尽管研究人员在设计和实施中只考虑了单种波长（511 nm），但他们在这种混合配置中展示了全彩色操作。最终确定的超构光学器件（直径5 mm）及其特性如图2a所示，其中扫描电子显微照片（底行）显示了超构光学器件中纳米柱的结构完整性。此外，为了比较和验证超构光学器件的相位响应，研究人员对其使用了全息表征（图2a）。
图像形成和相机组件（超构掩模、透镜、传感器和数据处理软件）的光学特性由点扩散函数（psf）表征。该混合系统表现出对于各种深度非常相似的psf，从而实现了超构掩模提供的扩展聚焦深度功能。在图2c和2d中，研究人员还报道了每个rgb通道仅使用单透镜系统和混合系统的调制传递函数（mtf）和有效mtf（emtf）。
图2 超构掩模相位分布的全息表征及其跨深度的psf和每个通道的mtf
与仅使用单透镜系统相比，混合光学系统的主要优势是显而易见的。混合光学系统的通带高于仅使用单透镜的相机系统。混合系统的emtf值接近1，从而实现更高的成像质量。特别是，仅使用单透镜系统的红光谱mtf取值要低得多，甚至是零。
为了评估混合折射超构光学的性能，研究人员以两种配置采集图像：（1）显示器和传感器之间具有三个固定距离的三种显示器成像（图3）和（2）现实生活中的场景，其中各种颜色的物体位于相对于相机多个距离的任意位置。首先，研究人员将混合超构光学与配置1中的单透镜相机的成像性能进行比较，其中图像（基准真值）显示在相对于传感器0.5、1或1.8 m的显示器上。通过比较特定图像细节可以明显看出，混合光学系统可产生更好的图像，特别是对于0.5和1.8 m的成像距离。混合光学系统的优越性能通过计算的峰值信噪比（psnr）值得到进一步的量化强调，其值在所有颜色通道和所有距离上都更高。
图3 使用设计的混合超构光学的三显示器成像设置
图4 由多个不同颜色的物体在相对于传感器的不同深度排列而成的真实场景
在配置2中，研究人员进一步将混合光学系统与复合多透镜相机——即索尼alpha 1 iii传感器与索尼sel85f18透镜（光圈限值为f/1.8和f/22）进行比较，如图4所示。与之前的情况一样，使用混合光学系统获得的图像在两个深度上都呈现出更清晰的图像和更好的细节分辨率。此外，与f/1.8光圈的复合相机相比，混合光学系统在更大的深度范围内显示出明显更好的成像质量。即使对于f/22的较小光圈值，使用混合光学系统获得的图像在0.6 m的离焦深度处也呈现出更清晰的细节。
综上所述，研究人员提出了一种由折射透镜和大光圈超构光学构成的全彩色微型计算相机。开发中的一个关键方面是超构光学的设计，研究人员使用hil方法来优化端到端设计架构中的相位分布和计算后端。具体来说，slm充当超构光学的占位符，对相位分布和相应的计算后端进行迭代优化，以在大型训练集上实现全彩色高质量成像。考虑的唯一目标指标是恢复rgb图像的质量，这与现有的优化相机数字微分模型和计算后端的方法不同。因此，研究人员完全绕过了使用电磁求解器优化超构光学相位分布的要求，否则由于涉及大量散射体，这将会带来计算成本极其昂贵的问题。此外，这种方法直接考虑了折射透镜和传感器的固定属性，因此产生了与现实相对应的结果和更强大的计算后端。
所开发的设计概念（其中hil方法与端到端设计架构相结合）有望在未来的工作中扩展到从高光谱成像到分类或物体检测等各种任务。这将充分利用衍射光学可实现的潜力，同时减轻设计过程中的基本障碍。本研究提出的光学设计方法向超小型相机迈出了重要一步，其有望在内窥镜、脑成像或物体表面的分布式方式中实现新颖的应用。
以高性能电压基准为信号链设定高标准的“规矩”
高空管道防腐不用除锈了，试试新科技，免除锈涂层直接涂覆
硬件工程师发展的几个方向及要学习东西
学习嵌入式C编程语言：了解联合数据对象
飞利浦发布旗舰显示器 支持面部识别和Type-C
基于平面混合超构光学的微型彩色相机
日本为加强与美国的太空合作，将驻兵美基地
超级电容器充电器平衡有关探讨
最新传感器：几秒内科检测大脑多巴胺含量
碳化硅技术的挑战与未来展望
全球对5G的投资和部署呈现加速状态
漏电开关有接地和没接地的区别
Vivado时序约束中详细的Tcl命令
ad9854应用电路图大全（五款ad9854信号发生/频率发生器/正交信号源电路）
荣耀9、小米6对比评测：麒麟骁龙之战！华为荣耀9、小米6有什么区别？谁更值得入手？
PCB行业概述及发展前景分析
PCB的蚀刻工艺你了解吗
FPC压合工艺为什么会出现溢胶
智能门锁的电源管理设计（下）
功率放大器电路图及其仿真分析
现代相机是为高质量成像而优化的复杂系统，通常由多个透镜组成，以克服色差和几何像差。然而，这种复杂性往往以牺牲尺寸和重量为代价。人们迫切需要将轻质、超薄和微型相机集成到下一代智能手机、无人机或即时医疗设备等移动平台中。因此，在保持高图像质量的同时，相机的微型化已经成为光学和光子学研究的主要推动力。计算成像是解决这一难题的方法之一，数字后端可以弥补光学组件的缺陷并提高图像质量，因此已成为光学、数学和数字图像处理交叉的多学科研究领域。
与此同时，近年来已取得的进展也推动了平面衍射光学元件（doe）领域的发展。虽然doe传统上用于非成像应用，但最近的一些工作已经证实了它们在成像方面的能力。特别是超构光学（一类亚波长doe）非常适合计算成像，因为它们能够以高空间分辨率在入射波前赋予任意自由形式的相位分布。尽管其光圈很小（500 μm），结合合适的计算后端，超构光学可以产生高质量的图像。一种特别有前景的方法是在“端到端”设计架构中协同优化超构光学和计算后端，其中硬件和软件得到同等考虑，从而确保最佳的系统级性能。
超构光学在计算成像中具有三个潜在的优势：（i）它们可以实现重要的尺寸和重量减小（厚度以微米为单位）；（ii）在扩展成像模式（例如高光谱成像、扩展景深和人脸识别）中，它们可以实现超越传统系统的性能；（iii）由于近几十年来纳米制造的巨大进步，几乎任意亚波长分辨率的波场操控成为可能。尽管存在这些优势，但是使用大光圈（>1 mm）超构光学采集的图像质量仍受到强烈色差和几何像差的困扰。已有研究表明，仅使用超构光学采集宽带图像存在根本的局限性。虽然复杂的超构原子（meta-atom）工程可以有所帮助，但是制造具有微型化特性的大光圈超构光学器件仍然具有挑战性。最后，开发大光圈超构光学的设计工具的计算成本极其昂贵。这带来了严峻的挑战，因为目前最先进的端到端设计方法主要涉及光学的数值建模。
在这项研究工作中，研究团队遵循其近期提出的设计方法，通过使用混合折射/超构光学系统和计算后端串联来规避所有这些挑战。所需的相位分布首先通过硬件在环（hil）策略进行优化，其中由空间光调制器（slm）实现的doe被配置和更新。同时，折射透镜和传感器保持固定。这不仅绕过了设计光学系统的昂贵的计算成本要求，而且还直接考虑了传感器噪声并排除了校准误差。优化的相位掩模被超构光学实现。相比仅使用超构光学的系统，混合光学系统可以改善超构光学的低光效率、像差和重建质量。研究人员使用简单的超构原子来确保可制造性，并且超构原子仅针对510 nm（slm工作的波长）进行设计。尽管只考虑了单一波长，但由于超构光学扩展了聚焦深度，研究人员仍然可以实现高质量的全彩色成像。因此，即使使用仅针对一种波长优化的简单超构原子，由于混合光学和计算后端，系统仍能实现高质量的宽带成像。所提出的成像系统的焦距和光圈为5 mm。为了说明这款相机的潜力，研究人员将其与仅使用单透镜配置、索尼alpha 1 iii无反商用相机的复合多透镜光学系统进行了比较。这一比较证实了超构混合光学在全彩色成像中的有效性，而本研究所设计的混合超构光学相机的体积比无反商用相机小约108倍。
由于超构光学中涉及大量散射体，全彩色、大光圈混合光学的设计成本极其昂贵。研究人员使用硬件在环配置弥补了从理论建模到实际应用的巨大差距，如图1a所示，他们使用端到端设计架构来优化doe相位分布和相应计算后端。图1a中的逐像素可编程相位slm充当占位符来实现doe的相位分布，它被迭代更新，同时计算后端被协同优化。按照研究团队在之前研究中提出的方法，这种优化产生了如图1b所示的相位分布。尽管在此配置中采集的图像是模糊的，但协同优化的计算后端可以恢复图像并生成高质量的全对焦全彩色图像。这在三维（3d）场景示例的相同配置中直接得到了证实，而不同深度的特征被放大以凸出高成像质量。
图1 在端到端架构中协同优化混合超构光学和逆成像的硬件在环方法示意图
尽管研究人员在设计和实施中只考虑了单种波长（511 nm），但他们在这种混合配置中展示了全彩色操作。最终确定的超构光学器件（直径5 mm）及其特性如图2a所示，其中扫描电子显微照片（底行）显示了超构光学器件中纳米柱的结构完整性。此外，为了比较和验证超构光学器件的相位响应，研究人员对其使用了全息表征（图2a）。
图像形成和相机组件（超构掩模、透镜、传感器和数据处理软件）的光学特性由点扩散函数（psf）表征。该混合系统表现出对于各种深度非常相似的psf，从而实现了超构掩模提供的扩展聚焦深度功能。在图2c和2d中，研究人员还报道了每个rgb通道仅使用单透镜系统和混合系统的调制传递函数（mtf）和有效mtf（emtf）。
图2 超构掩模相位分布的全息表征及其跨深度的psf和每个通道的mtf
与仅使用单透镜系统相比，混合光学系统的主要优势是显而易见的。混合光学系统的通带高于仅使用单透镜的相机系统。混合系统的emtf值接近1，从而实现更高的成像质量。特别是，仅使用单透镜系统的红光谱mtf取值要低得多，甚至是零。
为了评估混合折射超构光学的性能，研究人员以两种配置采集图像：（1）显示器和传感器之间具有三个固定距离的三种显示器成像（图3）和（2）现实生活中的场景，其中各种颜色的物体位于相对于相机多个距离的任意位置。首先，研究人员将混合超构光学与配置1中的单透镜相机的成像性能进行比较，其中图像（基准真值）显示在相对于传感器0.5、1或1.8 m的显示器上。通过比较特定图像细节可以明显看出，混合光学系统可产生更好的图像，特别是对于0.5和1.8 m的成像距离。混合光学系统的优越性能通过计算的峰值信噪比（psnr）值得到进一步的量化强调，其值在所有颜色通道和所有距离上都更高。
图3 使用设计的混合超构光学的三显示器成像设置
图4 由多个不同颜色的物体在相对于传感器的不同深度排列而成的真实场景
在配置2中，研究人员进一步将混合光学系统与复合多透镜相机——即索尼alpha 1 iii传感器与索尼sel85f18透镜（光圈限值为f/1.8和f/22）进行比较，如图4所示。与之前的情况一样，使用混合光学系统获得的图像在两个深度上都呈现出更清晰的图像和更好的细节分辨率。此外，与f/1.8光圈的复合相机相比，混合光学系统在更大的深度范围内显示出明显更好的成像质量。即使对于f/22的较小光圈值，使用混合光学系统获得的图像在0.6 m的离焦深度处也呈现出更清晰的细节。
综上所述，研究人员提出了一种由折射透镜和大光圈超构光学构成的全彩色微型计算相机。开发中的一个关键方面是超构光学的设计，研究人员使用hil方法来优化端到端设计架构中的相位分布和计算后端。具体来说，slm充当超构光学的占位符，对相位分布和相应的计算后端进行迭代优化，以在大型训练集上实现全彩色高质量成像。考虑的唯一目标指标是恢复rgb图像的质量，这与现有的优化相机数字微分模型和计算后端的方法不同。因此，研究人员完全绕过了使用电磁求解器优化超构光学相位分布的要求，否则由于涉及大量散射体，这将会带来计算成本极其昂贵的问题。此外，这种方法直接考虑了折射透镜和传感器的固定属性，因此产生了与现实相对应的结果和更强大的计算后端。
所开发的设计概念（其中hil方法与端到端设计架构相结合）有望在未来的工作中扩展到从高光谱成像到分类或物体检测等各种任务。这将充分利用衍射光学可实现的潜力，同时减轻设计过程中的基本障碍。本研究提出的光学设计方法向超小型相机迈出了重要一步，其有望在内窥镜、脑成像或物体表面的分布式方式中实现新颖的应用。
以高性能电压基准为信号链设定高标准的“规矩”
高空管道防腐不用除锈了，试试新科技，免除锈涂层直接涂覆
硬件工程师发展的几个方向及要学习东西
学习嵌入式C编程语言：了解联合数据对象
飞利浦发布旗舰显示器 支持面部识别和Type-C
基于平面混合超构光学的微型彩色相机
日本为加强与美国的太空合作，将驻兵美基地
超级电容器充电器平衡有关探讨
最新传感器：几秒内科检测大脑多巴胺含量
碳化硅技术的挑战与未来展望
全球对5G的投资和部署呈现加速状态
漏电开关有接地和没接地的区别
Vivado时序约束中详细的Tcl命令
ad9854应用电路图大全（五款ad9854信号发生/频率发生器/正交信号源电路）
荣耀9、小米6对比评测：麒麟骁龙之战！华为荣耀9、小米6有什么区别？谁更值得入手？
PCB行业概述及发展前景分析
PCB的蚀刻工艺你了解吗
FPC压合工艺为什么会出现溢胶
智能门锁的电源管理设计（下）
功率放大器电路图及其仿真分析