高分辨率视频图像处理中SDRAM控制器的设计
本文介绍了一种基于fpga的用于高分辨率视频图像处理的sdram控制器的设计方法。通过设置sdram的工作状态，使其工作在猝发模式。在视频时序信号控制下，用多行连续的sdram存储空间，存取视频数据。并在数据接口部分增加fifo，缓存一行视频，在像素时钟控制下，实现视频数据实时的存储和读取。通过改变相关参数，能对所有vesa分辨率视频流进行操作。具有通用性强、系统复杂度低、可靠性高、可扩展等特点。在某型号的机载大屏显示器系统中，用该sdram控制器实现了图像的翻转等功能，也验证了该控制器的实用性。
0引言
随着人们对视频图像的清晰度和细节显示要求的不断提高，高分辨率、高bit位的视频标准相继被推出。
造成了数据处理速度和数据处理量极大的增加，也给数据缓存的容量和控制提出较高的要求。在常用的存储器中，sdram具有大容量和高速度的特点，并且价格也比较便宜，在视频图像处理中被广泛的用于图像缓存。在基于fpga的高分辨率视频图像处理系统中，不可避免地会涉及到用fpga实现sdram控制器的方法。但由于sdram的操作方式较复杂，常见的控制器支持的视频分辨率普遍都不高。在高分辨率的视频图像已经普及的今天，支持高分辨率的sdram控制器的设计也已经被越来越多的视频图像处理人士关注。本文介绍的这种控制器，采用的是micron公司的mt48lc4m32b2tg（1m×32×4 banks）sdr sdram，在altera的stratixⅱ系列fpga ep2s60f1020i4上进行的开发。
在此平台上采用vhdl语言开发了sdram的控制器。
该控制器实现了最高分辨率为1 600×1 200@60 hz的视频流的缓存和图像翻转的功能。
1 sdram基本操作
sdram主要包括初始化、读/写操作、刷新、激活、预充电等操作。以micron公司的mt48lc4m32b2tg型号sdram为例分别介绍。
1.1初始化
sdram在上电后必须执行初始化操作，主要流程为：首先在电源电压和时钟稳定后，经过100μs的延时，执行一次空操作；然后进行预充电操作，使所有 bank都进入空闲状态；再然后执行两个自动刷新命令；执行完自动刷新后进入模式设置状态，通过地址总线a［11：0］发送数据来设置模式寄存器。模式寄存器设置定义如图1所示。
1.2读/写操作
首先激活具体的bank和行；然后发出读或写命令，和所要访问的起始列。在读命令发出后，要等待cas延迟时间，有效数据才会出现在数据总线上。在写命令发出后，有效数据立即出现在数据总线上。读写命令可分为单个模式和猝发模式，猝发模式根据猝发长度分为1，2，4，8和全页模式。猝发操作可用猝发终止命令（burst terminate）结束。
1.3刷新
由于sdram的内部电路特点，必须执行刷新命令，以防止数据丢失。要求64 ms内至少刷新4 096次。
1.4激活
在读/写命令之前都要发出激活命令，激活特定bank中的某一行。激活后此行一直处于有效状态，直到接收到预充电命令。
1.5预充电
预充电命令用于关闭特定bank中的某一行，或者所有bank.
各种操作命令对应的sdram管脚电平状态如表1所示。
2 sdram控制器的设计
在视频图像处理中sdram主要用作数据缓存，也就是fpga对sdram操作最频繁的为读命令、写命令，在这两个命令中间插着激活、预充电、猝发终止、刷新等命令。对于高分辨率的视频流，分辨率都在1 280×1 024以上，也就是每行的点像素都要大于1 280个，数据量非常的庞大。
为了降低sdram的操作时钟的频率和提高视频处理的实时性，采用猝发的模式对sdram进行操作。对于sdram mt48lc4m32b2tg地址为a［7：0］，猝发操作的最大长度为256.也就是说为了存储和读出一行的视频数据要对sdram的多行进行操作。如 1 280×1 024分辨率，需要5行sdram空间（256×5=1 280）。
对于不能被256整除的列数如1 600，就要采用控制猝发长度的方式，为了控制方便采用8行sdram空间存储一行视频数据（200×8=1 600）。标准的vesa分辨率都可以用此方式存储。在sdram控制器中设置了sdram的猝发长度的选择功能，只要修改需要的猝发长度即可，不要重新设计代码。
为了保证sdram的刷新要求，在每一行的sdram操作完成后就进行一次刷新操作，此操作经由输入的视频行同步信号（hsy）的触发，如果外部视频信号突然无输入，为了保证最后存储的数据不丢失，进入自刷新模式。一当控制器检测到hsy无变化就会启用自刷新模式，周期对sdram刷新。
sdram控制器主状态机如图2所示。
在主状态机完成初始化状态，进入等待状态后，等待读/写命令和视频数据输入信号。如果无视频输入，状态机始终在等待状态，并周期性的对sdram进行刷新，直到有视频和读/写命令输入。这部分的状态图如图3所示。
由于猝发的最大长度为256，在每两行操作之间都要进行激活、读/写命令、猝发终止、刷新等操作。由于读/写数据都使用的是像素时钟的频率，这样总个 fpga系统只有一个时钟域，能保证整个系统完全按照同步系统来设计，能提高整个系统的可靠性。这样会带来一个问题，要想仅仅在视频的有效时间，即den 高电平部分完成一行视频数据的读/写工作，这是不能满足要求的。为了解决这个问题，需要借用行同步、前廊和后廊的时间，但是den无效后不传输视频数据的，为了解决这个矛盾在sdram控制器和数据流输入/输出接口之间要分别设计两个fifo，深度大于一行的视频数据，采用乒乓操作保证视频流的流畅。
3 sdram控制器应用实例
在某型号的机载大屏显示器系统中，视频图像处理系统中使用该sdram控制器进行了调试，实现fpga对sdram的控制，完成相应的视频处理算法和实现了图像的翻转功能。此部分系统简要框图如图4所示。
该系统输入的为多路dvi信号，输入视频分辨率均为1 280×1 024，dvi信号经过dvi解码后输入fpga.
为了完成fpga内部的视频处理算法和图像翻转的功能，在fpga外部挂了两组sdram，实现了乒乓操作，保证了系统的处理速度。处理后的视频经过lvds信号转化，输出到液晶屏上显示。
对于左右翻转在fpga内部采用双口ram进行操作能够轻易实现。而图像的上下翻转，由于涉及到一帧数据的处理，需要经过外部缓存sdram实现。在采用上述sdram控制器的基础上，控制sdram的读方式就能实现，在将视频数据写入sdram的时候，写地址从第一行按顺序写入。读的过程相反，要从最后行开始读。
由于sdram的一行容量不能装下整行的视频信息，所以读的行地址要求每次从读过的行的地址减去存一行视频需要的sdram的物理行数，在一行视频数据没有读完前要从当前行不断的自增。如1 280×1 024的视频数据，共需要5 120（5×1 024）sdram行存一帧数据。要上下翻转输出图像，首先要输出视频数据的第1 024行，也就是要从sdram的5 115行开始按顺序读出，读完第5 120行后，sdram地址转到5 110行读视频流的第1 023行，如此类推，直到读完整帧的视频数据。该视频处理系统与显示效果如图5所示。
4结论
该设计针对高分辨率视频图像处理的sdr sdram控制器的设计，采用统一像素时钟进行系统操作，降低系统的复杂度，提高系统的可靠性；通过写修改相关参数，能够适应所有vesa分辨率的视频处理，通用性强；具有自刷新功能，在无外部信号输入情况下能够自动刷新，保证最后存储数据不会丢失；能够通过增加外部模块，控制读写地址，实现图像翻转功能。此控制器在al-tera的stratixⅱ系列fpga ep2s60f1020i4平台上，成功实现各种视频处理功能，验证了此控制器的实用性。
用于小型高性能跟踪器和可穿戴设备的u-blox M10
如何不损失钱包里的比特币
采用C504单片机的变频调速系统
广东省教育厅！暨南大学！北京中医药大学！为啥都用广凌招采系统
高通870处理器怎么样 高通870和865哪个好
高分辨率视频图像处理中SDRAM控制器的设计
钠离子电池研究现状
人工智能无处不在
虹科Panorama SCADA平台的HMI功能
湖南水库雨水情测报及大坝安全监测建设解决方案
VR厂商们的众生相，浮华过后的“凄惨”
使用统计数据来进行示波器数据分析
建设智能工厂需要完全具备以下几个层面要素
免调节中频VCO: 第二部分: 新型IC简化设计
数字沙盘的应用都具备哪些特点
eWiseTech1E现场：售价3999起，小米10系列可否代表小米打入高端市场？
第二批第二期免费开发板试用开始了
活性物质利用率
Nextion HMI解决方案 给显示屏带来更的高性价比
智能环网柜成套设备设计与电控技术
0引言
随着人们对视频图像的清晰度和细节显示要求的不断提高，高分辨率、高bit位的视频标准相继被推出。
造成了数据处理速度和数据处理量极大的增加，也给数据缓存的容量和控制提出较高的要求。在常用的存储器中，sdram具有大容量和高速度的特点，并且价格也比较便宜，在视频图像处理中被广泛的用于图像缓存。在基于fpga的高分辨率视频图像处理系统中，不可避免地会涉及到用fpga实现sdram控制器的方法。但由于sdram的操作方式较复杂，常见的控制器支持的视频分辨率普遍都不高。在高分辨率的视频图像已经普及的今天，支持高分辨率的sdram控制器的设计也已经被越来越多的视频图像处理人士关注。本文介绍的这种控制器，采用的是micron公司的mt48lc4m32b2tg（1m×32×4 banks）sdr sdram，在altera的stratixⅱ系列fpga ep2s60f1020i4上进行的开发。
在此平台上采用vhdl语言开发了sdram的控制器。
该控制器实现了最高分辨率为1 600×1 200@60 hz的视频流的缓存和图像翻转的功能。
1 sdram基本操作
sdram主要包括初始化、读/写操作、刷新、激活、预充电等操作。以micron公司的mt48lc4m32b2tg型号sdram为例分别介绍。
1.1初始化
sdram在上电后必须执行初始化操作，主要流程为：首先在电源电压和时钟稳定后，经过100μs的延时，执行一次空操作；然后进行预充电操作，使所有 bank都进入空闲状态；再然后执行两个自动刷新命令；执行完自动刷新后进入模式设置状态，通过地址总线a［11：0］发送数据来设置模式寄存器。模式寄存器设置定义如图1所示。
1.2读/写操作
首先激活具体的bank和行；然后发出读或写命令，和所要访问的起始列。在读命令发出后，要等待cas延迟时间，有效数据才会出现在数据总线上。在写命令发出后，有效数据立即出现在数据总线上。读写命令可分为单个模式和猝发模式，猝发模式根据猝发长度分为1，2，4，8和全页模式。猝发操作可用猝发终止命令（burst terminate）结束。
1.3刷新
由于sdram的内部电路特点，必须执行刷新命令，以防止数据丢失。要求64 ms内至少刷新4 096次。
1.4激活
在读/写命令之前都要发出激活命令，激活特定bank中的某一行。激活后此行一直处于有效状态，直到接收到预充电命令。
1.5预充电
预充电命令用于关闭特定bank中的某一行，或者所有bank.
各种操作命令对应的sdram管脚电平状态如表1所示。
2 sdram控制器的设计
在视频图像处理中sdram主要用作数据缓存，也就是fpga对sdram操作最频繁的为读命令、写命令，在这两个命令中间插着激活、预充电、猝发终止、刷新等命令。对于高分辨率的视频流，分辨率都在1 280×1 024以上，也就是每行的点像素都要大于1 280个，数据量非常的庞大。
为了降低sdram的操作时钟的频率和提高视频处理的实时性，采用猝发的模式对sdram进行操作。对于sdram mt48lc4m32b2tg地址为a［7：0］，猝发操作的最大长度为256.也就是说为了存储和读出一行的视频数据要对sdram的多行进行操作。如 1 280×1 024分辨率，需要5行sdram空间（256×5=1 280）。
对于不能被256整除的列数如1 600，就要采用控制猝发长度的方式，为了控制方便采用8行sdram空间存储一行视频数据（200×8=1 600）。标准的vesa分辨率都可以用此方式存储。在sdram控制器中设置了sdram的猝发长度的选择功能，只要修改需要的猝发长度即可，不要重新设计代码。
为了保证sdram的刷新要求，在每一行的sdram操作完成后就进行一次刷新操作，此操作经由输入的视频行同步信号（hsy）的触发，如果外部视频信号突然无输入，为了保证最后存储的数据不丢失，进入自刷新模式。一当控制器检测到hsy无变化就会启用自刷新模式，周期对sdram刷新。
sdram控制器主状态机如图2所示。
在主状态机完成初始化状态，进入等待状态后，等待读/写命令和视频数据输入信号。如果无视频输入，状态机始终在等待状态，并周期性的对sdram进行刷新，直到有视频和读/写命令输入。这部分的状态图如图3所示。
由于猝发的最大长度为256，在每两行操作之间都要进行激活、读/写命令、猝发终止、刷新等操作。由于读/写数据都使用的是像素时钟的频率，这样总个 fpga系统只有一个时钟域，能保证整个系统完全按照同步系统来设计，能提高整个系统的可靠性。这样会带来一个问题，要想仅仅在视频的有效时间，即den 高电平部分完成一行视频数据的读/写工作，这是不能满足要求的。为了解决这个问题，需要借用行同步、前廊和后廊的时间，但是den无效后不传输视频数据的，为了解决这个矛盾在sdram控制器和数据流输入/输出接口之间要分别设计两个fifo，深度大于一行的视频数据，采用乒乓操作保证视频流的流畅。
3 sdram控制器应用实例
在某型号的机载大屏显示器系统中，视频图像处理系统中使用该sdram控制器进行了调试，实现fpga对sdram的控制，完成相应的视频处理算法和实现了图像的翻转功能。此部分系统简要框图如图4所示。
该系统输入的为多路dvi信号，输入视频分辨率均为1 280×1 024，dvi信号经过dvi解码后输入fpga.
为了完成fpga内部的视频处理算法和图像翻转的功能，在fpga外部挂了两组sdram，实现了乒乓操作，保证了系统的处理速度。处理后的视频经过lvds信号转化，输出到液晶屏上显示。
对于左右翻转在fpga内部采用双口ram进行操作能够轻易实现。而图像的上下翻转，由于涉及到一帧数据的处理，需要经过外部缓存sdram实现。在采用上述sdram控制器的基础上，控制sdram的读方式就能实现，在将视频数据写入sdram的时候，写地址从第一行按顺序写入。读的过程相反，要从最后行开始读。
由于sdram的一行容量不能装下整行的视频信息，所以读的行地址要求每次从读过的行的地址减去存一行视频需要的sdram的物理行数，在一行视频数据没有读完前要从当前行不断的自增。如1 280×1 024的视频数据，共需要5 120（5×1 024）sdram行存一帧数据。要上下翻转输出图像，首先要输出视频数据的第1 024行，也就是要从sdram的5 115行开始按顺序读出，读完第5 120行后，sdram地址转到5 110行读视频流的第1 023行，如此类推，直到读完整帧的视频数据。该视频处理系统与显示效果如图5所示。
4结论
该设计针对高分辨率视频图像处理的sdr sdram控制器的设计，采用统一像素时钟进行系统操作，降低系统的复杂度，提高系统的可靠性；通过写修改相关参数，能够适应所有vesa分辨率的视频处理，通用性强；具有自刷新功能，在无外部信号输入情况下能够自动刷新，保证最后存储数据不会丢失；能够通过增加外部模块，控制读写地址，实现图像翻转功能。此控制器在al-tera的stratixⅱ系列fpga ep2s60f1020i4平台上，成功实现各种视频处理功能，验证了此控制器的实用性。
用于小型高性能跟踪器和可穿戴设备的u-blox M10
如何不损失钱包里的比特币
采用C504单片机的变频调速系统
广东省教育厅！暨南大学！北京中医药大学！为啥都用广凌招采系统
高通870处理器怎么样 高通870和865哪个好
高分辨率视频图像处理中SDRAM控制器的设计
钠离子电池研究现状
人工智能无处不在
虹科Panorama SCADA平台的HMI功能
湖南水库雨水情测报及大坝安全监测建设解决方案
VR厂商们的众生相，浮华过后的“凄惨”
使用统计数据来进行示波器数据分析
建设智能工厂需要完全具备以下几个层面要素
免调节中频VCO: 第二部分: 新型IC简化设计
数字沙盘的应用都具备哪些特点
eWiseTech1E现场：售价3999起，小米10系列可否代表小米打入高端市场？
第二批第二期免费开发板试用开始了
活性物质利用率
Nextion HMI解决方案 给显示屏带来更的高性价比
智能环网柜成套设备设计与电控技术