基于FPGA的视频图像拼接融合
基于fpga的视频图像拼接融合
本项目简单来说，就是实时生成视频全景图，该架构经过优化，可以实时视频输出。
算法
下图说明了描述算法每个步骤的系统框图
该系统大致可以分为三个子系统：
预处理
基于 sift 的特征提取
框架拼接融合
预处理
系统的输入视频流为 8 位 rgb 格式。输入的 8 位图像如下图所示。
视频流的每个单独帧将具有对应于红色、绿色和蓝色的三个通道。视频帧中的颜色信息不会增强特征检测。此外，与单通道 8 位图像相比，3 通道 8 位图像的计算需要更多时间。因此，rgb 视频帧被转换为 8 位灰度图像。生成的灰度图像噪声更小，阴影细节更多，计算效率更高，如下图所示。
基于sift的特征提取
使用sift算法从灰度图像中提取特征。sift算法可以分为两个主要步骤：
关键点检测
sift 操作从输入图像与不同高斯滤波器的离散卷积开始。高斯滤波器是一种广泛使用的图像平滑算法，定义为：
上式中，g为(x,y)点的高斯核，σ为高斯参数。使用较大的 σ 值会对图像产生更大的平滑效果。图像与高斯核的离散卷积生成具有较少噪声和较少细节的图像。在 sift 中，高斯核的离散卷积是用四个不同的 σ 值完成的。逐渐增大的 σ 值用于生成一组模糊图像或八度音阶（意思频率减半，低频部分对应灰度图中变化平缓的部分，高频部分对应灰度图中变化剧烈的部分）。
对于给定的 σ 值，卷积核中所有系数的总和应该等于 1。因此，核的大小随着 σ 值的增加而增加。
一旦生成了八度音阶，就会根据八度音阶中的四个图像构建一个 dog 空间。dog 代表高斯差分。dog 是高斯拉普拉斯算子 (log) 的计算效率非常高的近似值。dog 空间是通过逐像素计算两个相邻高斯尺度图像之间的差异来构建的。八度音阶中四个图像的dog空间将具有三个级别。
通过查找局部最大值或最小值，从 dog 空间中提取关键点。如果一个像素是由顶层 9 个像素、中间层 8 个像素和底层 9 个像素组成的 26 像素邻域内的局部最大值或最小值，则该像素被认为是关键点。
关键点
描述符生成
关键点描述符是特定关键点的唯一标识符。sift 使用关键点的梯度幅度和方向作为描述符的基础。一个点的梯度大小和方向可以通过图像与 sobel 滤波器的离散卷积来计算。
sobel卷积输出
为了生成关键点描述符，计算每个关键点周围 16x16 窗口内每个点的梯度幅度和方向。16x16 窗口的梯度幅度与高斯核卷积。将每个 4x4 单元格中的梯度幅度组合起来，使 16x16 窗口减少到 4x4 窗口和 16 个梯度方向。最后，这 16 个梯度方向被转移到 8 个 bin 中。因此，构建了一个 128 个元素的向量，作为关键点描述符。
框架拼接融合
框架拼接是将两个帧组合成单个图像的过程。框架拼接分两步完成：
关键点匹配
比较来自两个相机传感器的视频帧中关键点的关键点描述符。如果两个关键点（每个相机传感器一个）的关键点描述符之间的差异低于误差阈值，则将它们视为关键点对。将它们的关键点描述符之间差异最小的关键点对作为参考关键点。
图像融合
加权平均方法用于将两个帧混合成单个图像。重叠区域的像素值等于两帧像素的加权平均值。根据重叠像素和相应帧的边界之间的距离选择权重。
拼接图像
fpga程序顶层设计
顶层架构的框图如下图所示。
顶层设计分为五个阶段：
预处理阶段
为了模拟相机传感器的工作，使用了 image.v 和 image2.v，它们分别输入对应于左和右相机传感器的图像。rwm_1.v 是一个读写存储器，用于存储 8 位 rgb 图像。write 模式时，rgb 图像像素数据写入内存。存储完所有像素值后，将存储器置于 read 模式。在 read 模式下，每个像素值从内存中顺序读取.
过滤阶段
关键点阶段
关键点匹配阶段
帧混合阶段
项目地址
https://github.com/augustinjose1221/fpga-build
https://github.com/augustinjose1221/video-stitching
供电系统分为哪三大系统
车载智能互联科技成为核心卖点，阅朗这套车载系统具体表现如何？
汽车车灯多种可靠性测试方法
P6139A，P6015A探头，TDS1002B，TDS10
艾笛森将深耘LED专业封装领域领域 提供客制化服务
基于FPGA的视频图像拼接融合
高光时刻 | 福禄克荣获CAIMRS 2020三项大奖，彰显品牌实力
基于GPU的深度学习算法对古代陶器小碎片进行分类
高速CAN收发器产品概述
WIFI版ATP荧光检测仪招标参数的详细介绍
基于S3C6410处理器和Linux的家居监控运动目标检测系统
可盈利差异化硅片的EDA解决方案
全项目土壤肥料检测仪的详细介绍
液晶电视花屏故障现象及处理办法
基于单片机PCB电磁干扰设计
机器学习无人区,下一步的突破在哪里?
英格兰银行州长称数字货币无法当金钱使用
三星S8被无视，高通骁龙835唯这三款一加5、小米6、HTCU11可入手
受到智能机器人的直接冲击的六个行业
MIUI11或推出色彩管理功能 可单独控制色彩的各种参数
本项目简单来说，就是实时生成视频全景图，该架构经过优化，可以实时视频输出。
算法
下图说明了描述算法每个步骤的系统框图
该系统大致可以分为三个子系统：
预处理
基于 sift 的特征提取
框架拼接融合
预处理
系统的输入视频流为 8 位 rgb 格式。输入的 8 位图像如下图所示。
视频流的每个单独帧将具有对应于红色、绿色和蓝色的三个通道。视频帧中的颜色信息不会增强特征检测。此外，与单通道 8 位图像相比，3 通道 8 位图像的计算需要更多时间。因此，rgb 视频帧被转换为 8 位灰度图像。生成的灰度图像噪声更小，阴影细节更多，计算效率更高，如下图所示。
基于sift的特征提取
使用sift算法从灰度图像中提取特征。sift算法可以分为两个主要步骤：
关键点检测
sift 操作从输入图像与不同高斯滤波器的离散卷积开始。高斯滤波器是一种广泛使用的图像平滑算法，定义为：
上式中，g为(x,y)点的高斯核，σ为高斯参数。使用较大的 σ 值会对图像产生更大的平滑效果。图像与高斯核的离散卷积生成具有较少噪声和较少细节的图像。在 sift 中，高斯核的离散卷积是用四个不同的 σ 值完成的。逐渐增大的 σ 值用于生成一组模糊图像或八度音阶（意思频率减半，低频部分对应灰度图中变化平缓的部分，高频部分对应灰度图中变化剧烈的部分）。
对于给定的 σ 值，卷积核中所有系数的总和应该等于 1。因此，核的大小随着 σ 值的增加而增加。
一旦生成了八度音阶，就会根据八度音阶中的四个图像构建一个 dog 空间。dog 代表高斯差分。dog 是高斯拉普拉斯算子 (log) 的计算效率非常高的近似值。dog 空间是通过逐像素计算两个相邻高斯尺度图像之间的差异来构建的。八度音阶中四个图像的dog空间将具有三个级别。
通过查找局部最大值或最小值，从 dog 空间中提取关键点。如果一个像素是由顶层 9 个像素、中间层 8 个像素和底层 9 个像素组成的 26 像素邻域内的局部最大值或最小值，则该像素被认为是关键点。
关键点
描述符生成
关键点描述符是特定关键点的唯一标识符。sift 使用关键点的梯度幅度和方向作为描述符的基础。一个点的梯度大小和方向可以通过图像与 sobel 滤波器的离散卷积来计算。
sobel卷积输出
为了生成关键点描述符，计算每个关键点周围 16x16 窗口内每个点的梯度幅度和方向。16x16 窗口的梯度幅度与高斯核卷积。将每个 4x4 单元格中的梯度幅度组合起来，使 16x16 窗口减少到 4x4 窗口和 16 个梯度方向。最后，这 16 个梯度方向被转移到 8 个 bin 中。因此，构建了一个 128 个元素的向量，作为关键点描述符。
框架拼接融合
框架拼接是将两个帧组合成单个图像的过程。框架拼接分两步完成：
关键点匹配
比较来自两个相机传感器的视频帧中关键点的关键点描述符。如果两个关键点（每个相机传感器一个）的关键点描述符之间的差异低于误差阈值，则将它们视为关键点对。将它们的关键点描述符之间差异最小的关键点对作为参考关键点。
图像融合
加权平均方法用于将两个帧混合成单个图像。重叠区域的像素值等于两帧像素的加权平均值。根据重叠像素和相应帧的边界之间的距离选择权重。
拼接图像
fpga程序顶层设计
顶层架构的框图如下图所示。
顶层设计分为五个阶段：
预处理阶段
为了模拟相机传感器的工作，使用了 image.v 和 image2.v，它们分别输入对应于左和右相机传感器的图像。rwm_1.v 是一个读写存储器，用于存储 8 位 rgb 图像。write 模式时，rgb 图像像素数据写入内存。存储完所有像素值后，将存储器置于 read 模式。在 read 模式下，每个像素值从内存中顺序读取.
过滤阶段
关键点阶段
关键点匹配阶段
帧混合阶段
项目地址
https://github.com/augustinjose1221/fpga-build
https://github.com/augustinjose1221/video-stitching
供电系统分为哪三大系统
车载智能互联科技成为核心卖点，阅朗这套车载系统具体表现如何？
汽车车灯多种可靠性测试方法
P6139A，P6015A探头，TDS1002B，TDS10
艾笛森将深耘LED专业封装领域领域 提供客制化服务
基于FPGA的视频图像拼接融合
高光时刻 | 福禄克荣获CAIMRS 2020三项大奖，彰显品牌实力
基于GPU的深度学习算法对古代陶器小碎片进行分类
高速CAN收发器产品概述
WIFI版ATP荧光检测仪招标参数的详细介绍
基于S3C6410处理器和Linux的家居监控运动目标检测系统
可盈利差异化硅片的EDA解决方案
全项目土壤肥料检测仪的详细介绍
液晶电视花屏故障现象及处理办法
基于单片机PCB电磁干扰设计
机器学习无人区,下一步的突破在哪里?
英格兰银行州长称数字货币无法当金钱使用
三星S8被无视，高通骁龙835唯这三款一加5、小米6、HTCU11可入手
受到智能机器人的直接冲击的六个行业
MIUI11或推出色彩管理功能 可单独控制色彩的各种参数