基于使用FPGA实现低延迟的成像系统
目前商用领域的成像系统还是以嵌入式asic为主（成品时间快，性价比高），对于一些军工、医学等特殊领域还是以fpga为主，在特殊领域里延迟是最先考虑的问题（成本不是主要问题），所以今天介绍一下使用fpga实现低延迟的成像系统，这里说明一下，整个系统调试比较麻烦（和sensor有关），很大可能调试不出图像，所以大家只需要知道有这个架构即可，有需求可以自己调试。
低延迟架构
我们这次使用的是amd-xilinx fpga，大部分的图像处理都有ip可以使用，在官方文档中有相关的架构，具体如下：
上面的架构是比较通用的架构，官方也有例程可以参考，但是上面架构多了一个vdma，这就导致视频传输的时候有1到几帧的延迟，这对于低延迟、高分辨率的情形肯定是不能容忍的。所以官方对于特殊情况建议使用下面的架构：
去掉了vdma，但是对于时钟系统要去更高，对于视频输入输出在不同时钟域情况下是使用不了的，所以整体要求比较高。但是砍掉了vdma和ddr，所以整体成本会低很多。关于没有vdma情况下的各个ip的设置及测试可以看下面的文章《不使用vdma情况下使用axi4总线实现视频输入输出（低延迟首选）》。
fpga系统架构设计
我们还是参考上面的架构来设计我们的系统。
当我们与图像sensor对接时，我们通常会以不同的格式接收图像，例如 mipi 、并行接口，在我们接收视频之前，我们需要先配置sensor按照我们的需求运行。通常，sensor需要通过 i2c 或 spi 进行配置。
这次演示的平台：
7系列fpga
mt9m114 sensor
sensor 的接口非常简单，可以分为视频接口和配置接口（iic）。
视频接口由 10 位数据（分为 8 位和 2 位）、帧和行有效、像素时钟和参考时钟 (24 mhz) 组成。
配置接口由连接到sensor的 i2c 和 复位io组成。
该解决方案的架构如下：软核处理器（microblaze）通过 i2c 配置sensor。虽然图像处理路径将在 fpga 中实现，但由于这是一种低成本应用，该解决方案不会使用 ddr 存储器中实现外部帧缓冲区，而是图像处理流水线将完全在 fpga 中实现。
sensor中由于我们配置的是raw数据，所以还需要使用sensor demosaic和gamma（基本成像ip）ip。
该设计还将使用软核处理器来控制视频时序和图像处理路径的其他相关配置任务。
vivado 工程构建
搭建microblaze 系统
这一部分比较简单，可以看看之前的文章《【vivado那些事儿】microblaze最小系统搭建及程序固化》
添加其他ip
整个系统需要的ip主要如下：
cam 接口 - 此接口与 sensor接口连接，简单处理数据（选择raw数据的位数），此ip非必须
video to axis - 这会将并行视频转换为 axi 流格式
sensor demosaic - 将代表 r、g 或 b 的 raw 像素值转换为 24 位 rgb 格式
video timing generator - 生成输出格式的视频时序信号
axi stream to video out - 将 axi stream 转换为并行视频
axi iic - 连接到 microblaze，用于配置sensor
axi uart - 连接到 microblaze，用于软件调试
添加完后就可以连线了，完整的框图应如下所示。完整的工程在文章最后给出。
在 axi stream 中，使用 tuser 指示帧的开始，使用 tlast 指示行的结束。
ip的关键设置
video to axis
sensor demosaic
axi iic 设置
其他ip可以查看文章最后的工程查看。
资源使用率
在arty s7-50 的总利用率如下所示。
sdk 中编写软件
生成 vivado 硬件后，下一步就是编写应用软件，用于配置sensor和视频处理ip核。
因此，软件中将执行以下操作：
初始化 axi iic、vtc 和中断控制器
设置axi 相关中断控制器 - 这包括三个中断服务例程。iic 发送、接收和状态各一个。
在 vtc 配置输出时序
通过 i2c 复位sensor并点亮 sensor板子上 led
通过i2c读取sensor-mt9m114的id，来检测相机是否存在（外围设置是否正确）
通过 i2c 配置和初始化相机 - 这是最浪费时间的，好在有很多资料可以参考
初始化相机后，我们将能够在 ila 上看到视频流。
调试过程中测量的fpga和sensor之间的 i2c 通信信号。
使用 axi uart 调试软件：
一旦相机初始化，我们可以使用 ila 采集信号：
上图显示了 1280 像素的线宽。
axi stream 是一种单向总线，用于将数据从主机传输到从机，作为数据流，它不包含地址通道。为了通过 axi 流控制流和传递视频时序信息，我们使用了以下信号：
tready - 当准备好接收数据时由下游外设断言
tvalid - 当输出数据有效时通过发送外设断言
tuser - 为帧的开始发出
tlast - 为行尾标志
由于我们没有 使用vdma，所以 axis 流上的视频输出是一个连续块，并且 tvalid 在活动像素周期内不会断言和取消断言。
我们可以通过使用图像处理链的像素时钟来确保 tvalid 是连续的。
软件部分还是参考最后的工程吧，除了sensor需要单独编写，其他都是由sdk自带的例程修改而来。
总结
虽然上面的架构和最后的设计比较简单，但是调试起来还是很难得，只不过我写的比较简单，一旦出不来视频，重点按照最开始官方架构检查pclk。
该工程主要参考架构和架构中时钟域的处理，注意pclk（像素时钟）和aclk的走向。
车载用高可靠性部件VOL.1——AEC-Q200
智能照明节能控制器的功能特点
逆变器工作原理 逆变器对车辆有损害吗
多长的PCB走线不用控阻抗？
NI推出了加速5G商用进程的mmWave测试方案
基于使用FPGA实现低延迟的成像系统
加密资产与智能合约之间的合同法是怎样的
浅谈监测电安全性多的低压监测终端设计
4G工业路由器与4g路由器有什么不同
超紧凑、高质量、高可靠性！微调电位器就是日电产科宝电子
农田灌溉预付费电能表的应用分析
解决方案 | 锂电池窑炉专用的耐高温光纤传感器！附保姆级安装使用方法
高压变频器事故分析与防范措施
苹果最新IMac 拯救没落的PC时代来临了吗？
机器学习技术在智能制造应用实例
低照度摄象机与红外灯
AR眼镜定制_ar智能眼镜显示方案|光学方案_5G方案
变频串联谐振电路工作原理详解
小间距LED/Mini LED/Micro LED的详细说明
性价比最好的蓝牙耳机，618高性价比蓝牙耳机推荐
低延迟架构
我们这次使用的是amd-xilinx fpga，大部分的图像处理都有ip可以使用，在官方文档中有相关的架构，具体如下：
上面的架构是比较通用的架构，官方也有例程可以参考，但是上面架构多了一个vdma，这就导致视频传输的时候有1到几帧的延迟，这对于低延迟、高分辨率的情形肯定是不能容忍的。所以官方对于特殊情况建议使用下面的架构：
去掉了vdma，但是对于时钟系统要去更高，对于视频输入输出在不同时钟域情况下是使用不了的，所以整体要求比较高。但是砍掉了vdma和ddr，所以整体成本会低很多。关于没有vdma情况下的各个ip的设置及测试可以看下面的文章《不使用vdma情况下使用axi4总线实现视频输入输出（低延迟首选）》。
fpga系统架构设计
我们还是参考上面的架构来设计我们的系统。
当我们与图像sensor对接时，我们通常会以不同的格式接收图像，例如 mipi 、并行接口，在我们接收视频之前，我们需要先配置sensor按照我们的需求运行。通常，sensor需要通过 i2c 或 spi 进行配置。
这次演示的平台：
7系列fpga
mt9m114 sensor
sensor 的接口非常简单，可以分为视频接口和配置接口（iic）。
视频接口由 10 位数据（分为 8 位和 2 位）、帧和行有效、像素时钟和参考时钟 (24 mhz) 组成。
配置接口由连接到sensor的 i2c 和 复位io组成。
该解决方案的架构如下：软核处理器（microblaze）通过 i2c 配置sensor。虽然图像处理路径将在 fpga 中实现，但由于这是一种低成本应用，该解决方案不会使用 ddr 存储器中实现外部帧缓冲区，而是图像处理流水线将完全在 fpga 中实现。
sensor中由于我们配置的是raw数据，所以还需要使用sensor demosaic和gamma（基本成像ip）ip。
该设计还将使用软核处理器来控制视频时序和图像处理路径的其他相关配置任务。
vivado 工程构建
搭建microblaze 系统
这一部分比较简单，可以看看之前的文章《【vivado那些事儿】microblaze最小系统搭建及程序固化》
添加其他ip
整个系统需要的ip主要如下：
cam 接口 - 此接口与 sensor接口连接，简单处理数据（选择raw数据的位数），此ip非必须
video to axis - 这会将并行视频转换为 axi 流格式
sensor demosaic - 将代表 r、g 或 b 的 raw 像素值转换为 24 位 rgb 格式
video timing generator - 生成输出格式的视频时序信号
axi stream to video out - 将 axi stream 转换为并行视频
axi iic - 连接到 microblaze，用于配置sensor
axi uart - 连接到 microblaze，用于软件调试
添加完后就可以连线了，完整的框图应如下所示。完整的工程在文章最后给出。
在 axi stream 中，使用 tuser 指示帧的开始，使用 tlast 指示行的结束。
ip的关键设置
video to axis
sensor demosaic
axi iic 设置
其他ip可以查看文章最后的工程查看。
资源使用率
在arty s7-50 的总利用率如下所示。
sdk 中编写软件
生成 vivado 硬件后，下一步就是编写应用软件，用于配置sensor和视频处理ip核。
因此，软件中将执行以下操作：
初始化 axi iic、vtc 和中断控制器
设置axi 相关中断控制器 - 这包括三个中断服务例程。iic 发送、接收和状态各一个。
在 vtc 配置输出时序
通过 i2c 复位sensor并点亮 sensor板子上 led
通过i2c读取sensor-mt9m114的id，来检测相机是否存在（外围设置是否正确）
通过 i2c 配置和初始化相机 - 这是最浪费时间的，好在有很多资料可以参考
初始化相机后，我们将能够在 ila 上看到视频流。
调试过程中测量的fpga和sensor之间的 i2c 通信信号。
使用 axi uart 调试软件：
一旦相机初始化，我们可以使用 ila 采集信号：
上图显示了 1280 像素的线宽。
axi stream 是一种单向总线，用于将数据从主机传输到从机，作为数据流，它不包含地址通道。为了通过 axi 流控制流和传递视频时序信息，我们使用了以下信号：
tready - 当准备好接收数据时由下游外设断言
tvalid - 当输出数据有效时通过发送外设断言
tuser - 为帧的开始发出
tlast - 为行尾标志
由于我们没有 使用vdma，所以 axis 流上的视频输出是一个连续块，并且 tvalid 在活动像素周期内不会断言和取消断言。
我们可以通过使用图像处理链的像素时钟来确保 tvalid 是连续的。
软件部分还是参考最后的工程吧，除了sensor需要单独编写，其他都是由sdk自带的例程修改而来。
总结
虽然上面的架构和最后的设计比较简单，但是调试起来还是很难得，只不过我写的比较简单，一旦出不来视频，重点按照最开始官方架构检查pclk。
该工程主要参考架构和架构中时钟域的处理，注意pclk（像素时钟）和aclk的走向。
车载用高可靠性部件VOL.1——AEC-Q200
智能照明节能控制器的功能特点
逆变器工作原理 逆变器对车辆有损害吗
多长的PCB走线不用控阻抗？
NI推出了加速5G商用进程的mmWave测试方案
基于使用FPGA实现低延迟的成像系统
加密资产与智能合约之间的合同法是怎样的
浅谈监测电安全性多的低压监测终端设计
4G工业路由器与4g路由器有什么不同
超紧凑、高质量、高可靠性！微调电位器就是日电产科宝电子
农田灌溉预付费电能表的应用分析
解决方案 | 锂电池窑炉专用的耐高温光纤传感器！附保姆级安装使用方法
高压变频器事故分析与防范措施
苹果最新IMac 拯救没落的PC时代来临了吗？
机器学习技术在智能制造应用实例
低照度摄象机与红外灯
AR眼镜定制_ar智能眼镜显示方案|光学方案_5G方案
变频串联谐振电路工作原理详解
小间距LED/Mini LED/Micro LED的详细说明
性价比最好的蓝牙耳机，618高性价比蓝牙耳机推荐