关于基于FPGA的图像FFT滤波处理的分析和介绍
基于fpga的图像fft滤波处理
at7_xilinx开发板（usb3.0+lvds）资料共享
1
昨天11:39 上传
关于傅里叶变换
关于傅里叶变换，这么一个神奇的变换，其基本原理和应用在教科书、网络上漫天飞舞，这里就不赘述了，以免有凑字数的嫌疑。前面的例子我们已经使用matlab和vivado的fft ip核进行了初步的验证，掌握的fft/ifft ip核的脾气，那么接下来我们要玩点真的了，基于我们star/sf-at7板采集到的mt9v034图像，我们要进行每个行的fft和ifft变换，当然，生成的fft结果我们可以进行必要的滤波，然后再进行ifft查看滤波效果。
2基于matlab的fft滤波
使用at7_img_ex06matlab文件夹下的matlab源码image_1d_fft_ifft.m或l1024_of_image_1d_fft_ifft.m（将640个点扩展为1024个点进行fft变换，扩展的点以0填充，模拟fpga的fft ip核实际工作状况），对测试图像test进行fft变换，进行必要的滤波，然后ifft逆变换。
测试图像为彩色图像，原始图像如下。
首先进行彩色转灰度的变换，灰度图像如下。
提取出其中1行进行fft变换后的图像频谱如下。很明显，大部分高频分量集中在前面几个点，而后面的点几乎频率都很小。
放大频谱图，看到细节如下。这里绘制了一条取值为300的直线，有将近50%的频谱集中在这条线以下。若是做图像压缩，其实我们可以把这些低频分量忽略了，那么数据量可能会大大降低，当然了，副作用是图像可能会有一定程度的失真，有失必有得嘛。滤除这些低频分量，也会使图像更锐一些。话说做fft变换的目的可远不止这些，在一些特殊的应用场景中，我们总是希望从原始图像中提取出一些和应用直接相关的特征信息，那么做了fft后的图像常常非常有益于这些操作。为了演示，这里我们的代码里面就将这些低于300的点都滤除，即取0。
从频谱图上看，如图所示，右侧的滤波后明显图像偏黑（很多值取0了）了。
我们重新把原图放到这里，和fft滤波并ifft以后的图像做比对，图像整体仍然保持不变，但是查看细节，可以发现处理后的图像明显锐了一些。
matlab源码如下：
clc;clear `all;close all;
image_width = 640;
image_hight = 480;
%load origin image
%i = imread('lena_gray_niose.bmp');
i = imread('test.bmp');
i = rgb2gray(i);
%fclose(fid1);
%% output image data in hex file
raw_image = reshape(i, image_hight, image_width);
raw_image = raw_image';
fid2 = fopen('image_in_hex.txt', 'wt');
fprintf(fid2, '%04x', raw_image);
fid2 = fclose(fid2);
%show origin image
figure,imshow(i);
title('original image');
%1d fft base on every image line
ii = zeros(image_hight,1024);
j = zeros(image_hight,1024);
for i = 1:image_hight
for j = 1:image_width
ii(i,j) = i(i,j);
end
j(i,
= fft(ii(i,
);%fft(i(i,
);
end
%show 1 linefft result
t1 = (0:image_width); % time vector
line = ones(image_width) * 200;
figure;
plot(t1(1:image_width),abs(j(50,1:image_width)),t1(1:image_width),line(1:image_width))
title(['1 line image in the frequency domain'])
%show fft of origin image
figure,imshow(log(abs(j)),[]);
title('1d fft image base on every image line');
%colormap(jet(64)),colorbar;
%fftfiter
j(abs(j) 1000) = 1000;
%show fft of fft filter image
figure,imshow(log(abs(j)),[]);
title('1d fft image after filter');
%1d ifft base on every image line
k = zeros(image_hight,1024);
for i = 1:image_hight
k(i,
= real(ifft(j(i,
));
end
kk = zeros(image_hight,image_width);
for i = 1:image_hight
for j = 1:image_width
kk(i,j) = k(i,j);
end
end
%show ifft image
figure,imshow(kk,[])
title('1d ifft image');
3fpga仿真
在sources面板中，展开simulation sources à sim_1，将sim_fft.v文件设置为top module。同样是对前面的测试图像,经过fft和ifft变换后存储在image_view0.txt文本中（仿真测试结果位于at7_img_ex06at7.simsim_1ehav文件夹下）。为了确认fft和ifft ip核运算的精度和效果，这里没有做任何的滤波处理。
使用draw_image_from_fpga_result.m脚本（at7_img_ex06matlab文件夹下）导入image_view0.txt文本的图像，和原始图像比对如下所示。看到图像几乎没有任何失真。
4 基于fpga的图像平滑处理
工程文件夹at7_img_ex06zstar.srcssources_1ew下的image_fft_filter.v模块以及3个子模块image_fft_controller.v、image_filter.v和image_ifft_controller.v实现了图像的fft变换、滤波和ifft变换处理。fpga设计的功能框图如下。
image_fft_controller.v模块例化fft ip核，将采集的图像留以行为单位输入到fft ip核，输出fft频域数据。
image_filter.v模块对fft频域数据计算绝对值并进行必要的滤波处理，假设fft结果的实部值为a，虚部值为b，那么其绝对值abs =sqrt(a^2+b^2)。如下代码，注释部分可以滤除低频分量，当前例程中为了验证fft和ifft变换后精度没有损失，未作滤波。
always @(posedgeclk or negedgerst_n)
if(!rst_n) begin
o_image_filter_data_image<= 20'd0;
o_image_filter_data_real<= 20'd0;
end
/*else if(sqrt_fft[19:0] < 20'd300) begin //此处可以做必要的高频或低频滤波处理
o_image_filter_data_image<= 20'd0;
o_image_filter_data_real<= 20'd0;
end*/
else begin
o_image_filter_data_image<= r_image_fft_data_image[total_latency-1];
o_image_filter_data_real<= r_image_fft_data_real[total_latency-1];
end
image_ifft_controller.v模块将滤波处理后的fft结果进行ifft变换，图像转回时域值，供后续模块缓存ddr3并显示。
日本松下全球最大锂电池厂一期工程完工
带你走进盖茨、马云、刘强东等IT大佬们的办公室
基于梯形永磁体的切向内置式转子结构研究
realme Q采用索尼IMX586旗舰级传感器，价格在千元起步
分布式汽车车身控制系统设计
关于基于FPGA的图像FFT滤波处理的分析和介绍
大疆正式发布 “御”Mavic 2行业双光版
“量子点光谱传感器”亮相本届科技周，辨析光波分析物质内在成分
银行自建的区块链平台究竟谁会脱颖而出
石墨烯材料水分测定仪应用范围
利用矢量网络分析仪测量材料介电常数
正弦波产生电路
智能化扬尘在线监测系统能实时监测扬尘污染
鱼泡网通过大数据、AI等技术在创业创新大赛全国选拔赛斩获佳绩
PLC技术可持续发展方向
华为P10今日正式预售 买韩货还是买徕卡双摄之王？
DSP技术的指示灯实验
SCL与STL的区别是什么？SCL常见问题及解决办法！
PCIE2XMCx4载板转接卡
承德科胜玻璃瓶真空旋盖机|辣椒酱旋盖机|河北旋盖机
at7_xilinx开发板（usb3.0+lvds）资料共享
1
昨天11:39 上传
关于傅里叶变换
关于傅里叶变换，这么一个神奇的变换，其基本原理和应用在教科书、网络上漫天飞舞，这里就不赘述了，以免有凑字数的嫌疑。前面的例子我们已经使用matlab和vivado的fft ip核进行了初步的验证，掌握的fft/ifft ip核的脾气，那么接下来我们要玩点真的了，基于我们star/sf-at7板采集到的mt9v034图像，我们要进行每个行的fft和ifft变换，当然，生成的fft结果我们可以进行必要的滤波，然后再进行ifft查看滤波效果。
2基于matlab的fft滤波
使用at7_img_ex06matlab文件夹下的matlab源码image_1d_fft_ifft.m或l1024_of_image_1d_fft_ifft.m（将640个点扩展为1024个点进行fft变换，扩展的点以0填充，模拟fpga的fft ip核实际工作状况），对测试图像test进行fft变换，进行必要的滤波，然后ifft逆变换。
测试图像为彩色图像，原始图像如下。
首先进行彩色转灰度的变换，灰度图像如下。
提取出其中1行进行fft变换后的图像频谱如下。很明显，大部分高频分量集中在前面几个点，而后面的点几乎频率都很小。
放大频谱图，看到细节如下。这里绘制了一条取值为300的直线，有将近50%的频谱集中在这条线以下。若是做图像压缩，其实我们可以把这些低频分量忽略了，那么数据量可能会大大降低，当然了，副作用是图像可能会有一定程度的失真，有失必有得嘛。滤除这些低频分量，也会使图像更锐一些。话说做fft变换的目的可远不止这些，在一些特殊的应用场景中，我们总是希望从原始图像中提取出一些和应用直接相关的特征信息，那么做了fft后的图像常常非常有益于这些操作。为了演示，这里我们的代码里面就将这些低于300的点都滤除，即取0。
从频谱图上看，如图所示，右侧的滤波后明显图像偏黑（很多值取0了）了。
我们重新把原图放到这里，和fft滤波并ifft以后的图像做比对，图像整体仍然保持不变，但是查看细节，可以发现处理后的图像明显锐了一些。
matlab源码如下：
clc;clear `all;close all;
image_width = 640;
image_hight = 480;
%load origin image
%i = imread('lena_gray_niose.bmp');
i = imread('test.bmp');
i = rgb2gray(i);
%fclose(fid1);
%% output image data in hex file
raw_image = reshape(i, image_hight, image_width);
raw_image = raw_image';
fid2 = fopen('image_in_hex.txt', 'wt');
fprintf(fid2, '%04x', raw_image);
fid2 = fclose(fid2);
%show origin image
figure,imshow(i);
title('original image');
%1d fft base on every image line
ii = zeros(image_hight,1024);
j = zeros(image_hight,1024);
for i = 1:image_hight
for j = 1:image_width
ii(i,j) = i(i,j);
end
j(i,
= fft(ii(i,
);%fft(i(i,
);
end
%show 1 linefft result
t1 = (0:image_width); % time vector
line = ones(image_width) * 200;
figure;
plot(t1(1:image_width),abs(j(50,1:image_width)),t1(1:image_width),line(1:image_width))
title(['1 line image in the frequency domain'])
%show fft of origin image
figure,imshow(log(abs(j)),[]);
title('1d fft image base on every image line');
%colormap(jet(64)),colorbar;
%fftfiter
j(abs(j) 1000) = 1000;
%show fft of fft filter image
figure,imshow(log(abs(j)),[]);
title('1d fft image after filter');
%1d ifft base on every image line
k = zeros(image_hight,1024);
for i = 1:image_hight
k(i,
= real(ifft(j(i,
));
end
kk = zeros(image_hight,image_width);
for i = 1:image_hight
for j = 1:image_width
kk(i,j) = k(i,j);
end
end
%show ifft image
figure,imshow(kk,[])
title('1d ifft image');
3fpga仿真
在sources面板中，展开simulation sources à sim_1，将sim_fft.v文件设置为top module。同样是对前面的测试图像,经过fft和ifft变换后存储在image_view0.txt文本中（仿真测试结果位于at7_img_ex06at7.simsim_1ehav文件夹下）。为了确认fft和ifft ip核运算的精度和效果，这里没有做任何的滤波处理。
使用draw_image_from_fpga_result.m脚本（at7_img_ex06matlab文件夹下）导入image_view0.txt文本的图像，和原始图像比对如下所示。看到图像几乎没有任何失真。
4 基于fpga的图像平滑处理
工程文件夹at7_img_ex06zstar.srcssources_1ew下的image_fft_filter.v模块以及3个子模块image_fft_controller.v、image_filter.v和image_ifft_controller.v实现了图像的fft变换、滤波和ifft变换处理。fpga设计的功能框图如下。
image_fft_controller.v模块例化fft ip核，将采集的图像留以行为单位输入到fft ip核，输出fft频域数据。
image_filter.v模块对fft频域数据计算绝对值并进行必要的滤波处理，假设fft结果的实部值为a，虚部值为b，那么其绝对值abs =sqrt(a^2+b^2)。如下代码，注释部分可以滤除低频分量，当前例程中为了验证fft和ifft变换后精度没有损失，未作滤波。
always @(posedgeclk or negedgerst_n)
if(!rst_n) begin
o_image_filter_data_image<= 20'd0;
o_image_filter_data_real<= 20'd0;
end
/*else if(sqrt_fft[19:0] < 20'd300) begin //此处可以做必要的高频或低频滤波处理
o_image_filter_data_image<= 20'd0;
o_image_filter_data_real<= 20'd0;
end*/
else begin
o_image_filter_data_image<= r_image_fft_data_image[total_latency-1];
o_image_filter_data_real<= r_image_fft_data_real[total_latency-1];
end
image_ifft_controller.v模块将滤波处理后的fft结果进行ifft变换，图像转回时域值，供后续模块缓存ddr3并显示。
日本松下全球最大锂电池厂一期工程完工
带你走进盖茨、马云、刘强东等IT大佬们的办公室
基于梯形永磁体的切向内置式转子结构研究
realme Q采用索尼IMX586旗舰级传感器，价格在千元起步
分布式汽车车身控制系统设计
关于基于FPGA的图像FFT滤波处理的分析和介绍
大疆正式发布 “御”Mavic 2行业双光版
“量子点光谱传感器”亮相本届科技周，辨析光波分析物质内在成分
银行自建的区块链平台究竟谁会脱颖而出
石墨烯材料水分测定仪应用范围
利用矢量网络分析仪测量材料介电常数
正弦波产生电路
智能化扬尘在线监测系统能实时监测扬尘污染
鱼泡网通过大数据、AI等技术在创业创新大赛全国选拔赛斩获佳绩
PLC技术可持续发展方向
华为P10今日正式预售 买韩货还是买徕卡双摄之王？
DSP技术的指示灯实验
SCL与STL的区别是什么？SCL常见问题及解决办法！
PCIE2XMCx4载板转接卡
承德科胜玻璃瓶真空旋盖机|辣椒酱旋盖机|河北旋盖机