基于FPGA图像处理的视频流实时处理系统
第一部分 设计概述
1.1 设计目的
本设计针对低照度高动态情况下，单帧图像曝光不足导致的图像噪声大、色彩失准等问题，在传统的 hdr 多帧融合（frames merging）方法上，采用层次化的图像配准（image alignment）方案、自适应白平衡（white balance）与色调映射（tone mapping）策略，在降低图像噪声、真实还原景物色彩的基础上，极大 抑制了多帧融合时常见的运动伪影（motion artifact）现象。本设计采用 fpga 进 行图像处理加速后，可以实现视频流的实时处理，视频流经过摄像头输入后，由 fpga 进行处理并以较低的时延经 hdmi 信号输出。
1.2 应用领域
本设计可用于手持摄像系统（摄像机、智能手机）图像、视频流的 hdr 处 理，可用于低照度情况下固定监控系统的视频流 hdr 处理，可用于线上直播系统的视频流 hdr 处理。
1.3 主要技术特点
采用层次化的图像配准方案，对输入的拜尔格式（bayer mosaic）原始图像 进行处理，生成四层高斯图像金字塔（gaussian pyramids）。较高层次的图像配准结果将作为低层次配准的预偏移。这一过程极大优化了算法效率，其结构化的特 点为并行处理提供了便利。
采用有权重的图像融合方案，对输入的多帧图像，经图像配准后计算相应图像对（image pairs）的 l1 残差，得到各融合帧（alternate frame）相对参考帧 （reference frame）的权重，有效地降低了配准失误造成的运动伪影。
采用自适应白平衡及色调映射策略，在低光照情况下最大程度还原了景物的 色彩；在保证较高信噪比的情况下，提高了主要景物的亮度。
利用 fpga 进行硬件加速，在 pynq-z2 的 python 开发环境中挂载封装有 ip 加速核的 overlay，极大提高了运行速度，能够实时处理。
1.4 关键性能指标
相机感光度（iso）、快门时间（shutter time）、融合帧数；
图像融合处理时间、视频流处理延时；
图像信噪比、色彩还原度、细节清晰度、纹理清晰度（人眼观察）。
1.5 主要创新点
（1） 低照度高动态图像处理；
（2） 层次化的图像配准；
（3） 有权重的图像融合降噪；
（4） 自适应白平衡与色调映射策略；
（5） fpga 硬件加速；
（6） 低时延视频流处理。
第二部分 系统组成及功能说明
2.1 整体介绍
pynq-z2 是基于 xilinx zynq-7000 fpga 的平台，除继承了传统 zynq 平 台的强大处理性能外，还兼容 arduino 接口与标准树莓派接口，这使得 pynqz2 的具有极大的可拓展性与开源性。pynq 是一个新的开源框架，使嵌入式编 程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥 xilinx zynq all programmable soc（apsoc）的功能。与常规方式不同的是，通过 pynq-z2，用户可以使用 python 进行 apsoc 编程，并且代码可直接在 pynq-z2 上进行开发 和测试。通过 pynq-z2，可编程逻辑电路将作为硬件库导入并通过其 api 进行编程，其方式与导入和编程软件库基本相同。
xilinx zyng all programmable device 是一种基于双核 arm cortex - a9 处理 器（称为处理系统或 ps）的 soc，集成了 fpga fabric(称为可编程逻辑或 pl)。ps 子系统包括许多专用外设(内存控制器、usb、uart、iic、spi 等)，并可以扩展额外的硬件 ip，其封装在 pl 的 overlay 中。overlay（或 hardware libraries， 硬件库）是可编程/可配置的 fpga 设计，能将用户设计的应用从 zynq 的处理系 统（ps 端）扩展到可编程逻辑（pl 端）。overlay 可用于加速软件程序，或为特定程序定制硬件平台。
本设计的硬件平台整体结构如上图所示。为了对低照度高动态下的多帧融合 图像处理系统进行硬件加速，我们利用 vivado hls 工具，自主设计了 downsample、alignment、merge、raw2rgb 等 ip cores，并通过 axi 总线与处理器核（ps 端）及存储器接口相连。在 pynq-z2 的设计流中，这些 ip 被封装成 overlay 并构造 python api 驱动，以供 pynq-z2 中的 python 开发环境（jupyternotebook）调用。
我们调用了 pynq-z2 自有的 hdmi overlay 进行处理流程及结果的显示。此外，pynq-z2 为我们提供了丰富的存储单元、外设模块与通信接口。这些存储单元被用来存储图像数据及各类处理中间结果，而各类外设模块及通信接口则 被用来进行系统调试与控制的过程监控。
图像处理系统的工作流程如上图所示。相机在低曝光的情况下拍摄多帧（比 如说，6 帧）图片，这些原始图片（raw images）由相机 ccd 或 cmos 图像传感器生成，其像素值以拜耳阵列的形式存储。我们首先将原始各输入帧进行一次系数 2 的均值下采样，两次系数 4 的高斯下采样，得到一个四层的高斯图像金字塔。基于这个高斯图像金字塔，我们进行层次化的图像配准。配准的结果将作为图像融合的参考，同时结合备选帧与参考帧的 l1 残差作为融合权重，进行图像 融合。融合后的图像进行去马赛克及伽马降噪，并进行自适应的白平衡及色调映 射等操作，将单通道的融合图像转为三通道（对应 rgb 色彩空间）输出图像， 最终输出与原始图像同分辨率的处理结果。
均值下采样与高斯下采样处理被封装在名为 downsample 的 ip core 中，层次化图像配准处理被封装在名为 alignment 的 ip core 中，图像融合处理被封装在名为 merge 的 ip core 中，去马赛克、白平衡、色调映射等处理被封装在名为 raw2rgb 的 ip core 中。这些 ip cores 挂载到 axi 总线上，经封装为 overlay 提供 python api 给 pynq-z2 的 jupyter-notebook。
2.2 各模块介绍
下采样模块（downsample）
下采样模块为后续的层次化图像配准处理提供四层高斯图像金字塔。四层高斯金字塔的最底层为全分辨率的拜耳原始图像（我们称该层为 layer_raw），其像素点以拜耳阵列的形式排布，如下图所示。
我们首先进行系数 2 的均值下采样，直观上将一个 2*2 像素的“方格”取均值下采样为一个像素。下采样后的结果类似于一个单通道的灰度图像，但实际上绿色通道对下采样后的结果影响较大。我们称该层为 layer_0。
layer_0 随后进行两次系数 4 的高斯下采样。卷积核函数见附录。该卷积核 函数的大小为 5*5 像素，以 4 像素为步长在被采样的图像上以后，对该图像进行下采样。高斯下采样的结果将在一定程度上保留了采样前图像的低频信息，而图 像细节则被丢失。直观上图像的大致轮廓被保留，图像尺寸更小，细节模糊不清。两次高斯下采样的结果分为称之为 layer_1 与 layer_2。
经下采样模块处理后的结果可以用下图说明。
图像配准模块（alignment）
图像配准以图像对（image pairs）的形式，在融合备选帧（alternate frame） 与参考帧（reference frame）之间展开。对参考帧中的每一个 16*16 像素的图块 （tile），寻找其在融合备选帧中使两者 l1 残差最小图块，两个图块位置上的偏 移即为配准结果。其 l1 残差的计算方式可用下式表达。
式中的求和对一个图块内的所有像素进行，配准的目的是对参考帧中的每一个图 块，寻找其在每一个备选帧中的对应图块，使得上式的结果最小。此时两个图块 的坐标偏移量即为配准结果。
在保证图像间偏差不大的前提下，图块配准的搜索范围可以限定图块原始位 置周围的若干像素内。为了进一步提高配准的效率，我们采用层次化的配准方案：在上层低分辨率图像中进行预配准，配准结果将作为下层图像配准的预偏移 （previous offset）。各层图像以图块为基本单位，在预偏移的基础上进行小范围的配准。由此，上述残差计算式可以重新表达如下。
中芯国际携手思必驰成立AI芯片合资公司
TDK面向DC-DC转换器的高绝缘强度的紧凑型
2011年智能手机硬件发展动态
Q2季度三星和英特尔在全球半导体差距缩小到4.96%
电磁波与人体健康
基于FPGA图像处理的视频流实时处理系统
大数据质量管理有什么策略
AI浪潮将至 科技促使智慧银行时代到来
BOSHIDA模块电源 带你了解开关电源模块作用及应用
全新升级的ALIENWARE m15 R7超硬核游戏设备
浅谈我国智能电网发展中存在的问题及对策
移动电源什么牌子好
三星申请AR眼镜专利,满满的科技感
移远通信成功入围此次联通雁飞5G模组招标
哪些行业需要用到印刷电路板PCB
5g系统总体架构及功能介绍
从华为投入研发基础开发工具看国产IDE的未来和商业模式
红米Note4x高配版或在3月发布：骁龙653+4GB内存+三段式机身
曝小米明年将推出三款折叠屏手机：外折、内折和翻盖
近场探头的工作原理与作用
1.1 设计目的
本设计针对低照度高动态情况下，单帧图像曝光不足导致的图像噪声大、色彩失准等问题，在传统的 hdr 多帧融合（frames merging）方法上，采用层次化的图像配准（image alignment）方案、自适应白平衡（white balance）与色调映射（tone mapping）策略，在降低图像噪声、真实还原景物色彩的基础上，极大 抑制了多帧融合时常见的运动伪影（motion artifact）现象。本设计采用 fpga 进 行图像处理加速后，可以实现视频流的实时处理，视频流经过摄像头输入后，由 fpga 进行处理并以较低的时延经 hdmi 信号输出。
1.2 应用领域
本设计可用于手持摄像系统（摄像机、智能手机）图像、视频流的 hdr 处 理，可用于低照度情况下固定监控系统的视频流 hdr 处理，可用于线上直播系统的视频流 hdr 处理。
1.3 主要技术特点
采用层次化的图像配准方案，对输入的拜尔格式（bayer mosaic）原始图像 进行处理，生成四层高斯图像金字塔（gaussian pyramids）。较高层次的图像配准结果将作为低层次配准的预偏移。这一过程极大优化了算法效率，其结构化的特 点为并行处理提供了便利。
采用有权重的图像融合方案，对输入的多帧图像，经图像配准后计算相应图像对（image pairs）的 l1 残差，得到各融合帧（alternate frame）相对参考帧 （reference frame）的权重，有效地降低了配准失误造成的运动伪影。
采用自适应白平衡及色调映射策略，在低光照情况下最大程度还原了景物的 色彩；在保证较高信噪比的情况下，提高了主要景物的亮度。
利用 fpga 进行硬件加速，在 pynq-z2 的 python 开发环境中挂载封装有 ip 加速核的 overlay，极大提高了运行速度，能够实时处理。
1.4 关键性能指标
相机感光度（iso）、快门时间（shutter time）、融合帧数；
图像融合处理时间、视频流处理延时；
图像信噪比、色彩还原度、细节清晰度、纹理清晰度（人眼观察）。
1.5 主要创新点
（1） 低照度高动态图像处理；
（2） 层次化的图像配准；
（3） 有权重的图像融合降噪；
（4） 自适应白平衡与色调映射策略；
（5） fpga 硬件加速；
（6） 低时延视频流处理。
第二部分 系统组成及功能说明
2.1 整体介绍
pynq-z2 是基于 xilinx zynq-7000 fpga 的平台，除继承了传统 zynq 平 台的强大处理性能外，还兼容 arduino 接口与标准树莓派接口，这使得 pynqz2 的具有极大的可拓展性与开源性。pynq 是一个新的开源框架，使嵌入式编 程人员能够在无需设计可编程逻辑电路的情况下即可充分发挥 xilinx zynq all programmable soc（apsoc）的功能。与常规方式不同的是，通过 pynq-z2，用户可以使用 python 进行 apsoc 编程，并且代码可直接在 pynq-z2 上进行开发 和测试。通过 pynq-z2，可编程逻辑电路将作为硬件库导入并通过其 api 进行编程，其方式与导入和编程软件库基本相同。
xilinx zyng all programmable device 是一种基于双核 arm cortex - a9 处理 器（称为处理系统或 ps）的 soc，集成了 fpga fabric(称为可编程逻辑或 pl)。ps 子系统包括许多专用外设(内存控制器、usb、uart、iic、spi 等)，并可以扩展额外的硬件 ip，其封装在 pl 的 overlay 中。overlay（或 hardware libraries， 硬件库）是可编程/可配置的 fpga 设计，能将用户设计的应用从 zynq 的处理系 统（ps 端）扩展到可编程逻辑（pl 端）。overlay 可用于加速软件程序，或为特定程序定制硬件平台。
本设计的硬件平台整体结构如上图所示。为了对低照度高动态下的多帧融合 图像处理系统进行硬件加速，我们利用 vivado hls 工具，自主设计了 downsample、alignment、merge、raw2rgb 等 ip cores，并通过 axi 总线与处理器核（ps 端）及存储器接口相连。在 pynq-z2 的设计流中，这些 ip 被封装成 overlay 并构造 python api 驱动，以供 pynq-z2 中的 python 开发环境（jupyternotebook）调用。
我们调用了 pynq-z2 自有的 hdmi overlay 进行处理流程及结果的显示。此外，pynq-z2 为我们提供了丰富的存储单元、外设模块与通信接口。这些存储单元被用来存储图像数据及各类处理中间结果，而各类外设模块及通信接口则 被用来进行系统调试与控制的过程监控。
图像处理系统的工作流程如上图所示。相机在低曝光的情况下拍摄多帧（比 如说，6 帧）图片，这些原始图片（raw images）由相机 ccd 或 cmos 图像传感器生成，其像素值以拜耳阵列的形式存储。我们首先将原始各输入帧进行一次系数 2 的均值下采样，两次系数 4 的高斯下采样，得到一个四层的高斯图像金字塔。基于这个高斯图像金字塔，我们进行层次化的图像配准。配准的结果将作为图像融合的参考，同时结合备选帧与参考帧的 l1 残差作为融合权重，进行图像 融合。融合后的图像进行去马赛克及伽马降噪，并进行自适应的白平衡及色调映 射等操作，将单通道的融合图像转为三通道（对应 rgb 色彩空间）输出图像， 最终输出与原始图像同分辨率的处理结果。
均值下采样与高斯下采样处理被封装在名为 downsample 的 ip core 中，层次化图像配准处理被封装在名为 alignment 的 ip core 中，图像融合处理被封装在名为 merge 的 ip core 中，去马赛克、白平衡、色调映射等处理被封装在名为 raw2rgb 的 ip core 中。这些 ip cores 挂载到 axi 总线上，经封装为 overlay 提供 python api 给 pynq-z2 的 jupyter-notebook。
2.2 各模块介绍
下采样模块（downsample）
下采样模块为后续的层次化图像配准处理提供四层高斯图像金字塔。四层高斯金字塔的最底层为全分辨率的拜耳原始图像（我们称该层为 layer_raw），其像素点以拜耳阵列的形式排布，如下图所示。
我们首先进行系数 2 的均值下采样，直观上将一个 2*2 像素的“方格”取均值下采样为一个像素。下采样后的结果类似于一个单通道的灰度图像，但实际上绿色通道对下采样后的结果影响较大。我们称该层为 layer_0。
layer_0 随后进行两次系数 4 的高斯下采样。卷积核函数见附录。该卷积核 函数的大小为 5*5 像素，以 4 像素为步长在被采样的图像上以后，对该图像进行下采样。高斯下采样的结果将在一定程度上保留了采样前图像的低频信息，而图 像细节则被丢失。直观上图像的大致轮廓被保留，图像尺寸更小，细节模糊不清。两次高斯下采样的结果分为称之为 layer_1 与 layer_2。
经下采样模块处理后的结果可以用下图说明。
图像配准模块（alignment）
图像配准以图像对（image pairs）的形式，在融合备选帧（alternate frame） 与参考帧（reference frame）之间展开。对参考帧中的每一个 16*16 像素的图块 （tile），寻找其在融合备选帧中使两者 l1 残差最小图块，两个图块位置上的偏 移即为配准结果。其 l1 残差的计算方式可用下式表达。
式中的求和对一个图块内的所有像素进行，配准的目的是对参考帧中的每一个图 块，寻找其在每一个备选帧中的对应图块，使得上式的结果最小。此时两个图块 的坐标偏移量即为配准结果。
在保证图像间偏差不大的前提下，图块配准的搜索范围可以限定图块原始位 置周围的若干像素内。为了进一步提高配准的效率，我们采用层次化的配准方案：在上层低分辨率图像中进行预配准，配准结果将作为下层图像配准的预偏移 （previous offset）。各层图像以图块为基本单位，在预偏移的基础上进行小范围的配准。由此，上述残差计算式可以重新表达如下。
中芯国际携手思必驰成立AI芯片合资公司
TDK面向DC-DC转换器的高绝缘强度的紧凑型
2011年智能手机硬件发展动态
Q2季度三星和英特尔在全球半导体差距缩小到4.96%
电磁波与人体健康
基于FPGA图像处理的视频流实时处理系统
大数据质量管理有什么策略
AI浪潮将至 科技促使智慧银行时代到来
BOSHIDA模块电源 带你了解开关电源模块作用及应用
全新升级的ALIENWARE m15 R7超硬核游戏设备
浅谈我国智能电网发展中存在的问题及对策
移动电源什么牌子好
三星申请AR眼镜专利,满满的科技感
移远通信成功入围此次联通雁飞5G模组招标
哪些行业需要用到印刷电路板PCB
5g系统总体架构及功能介绍
从华为投入研发基础开发工具看国产IDE的未来和商业模式
红米Note4x高配版或在3月发布：骁龙653+4GB内存+三段式机身
曝小米明年将推出三款折叠屏手机：外折、内折和翻盖
近场探头的工作原理与作用