嵌入式系统Flash存储管理策略研究
1 引言
嵌入式系统中通常都需要存放一些非易失性数据, 并且数据量的大小和数据类型根据不同系统需求差异很大。因此选取合适的存储器是完成数据存储系统的第一步, 更重要的是使存储系统长期稳定、高效的工作, 这就必须寻求一个完备的存储器数据管理方法[ 1] 。本文介绍了一种适用于无文件系统环境下的n or flash 管理方法, 采用分块管理和状态转换的方法使得flash 的使用效率和操作可靠性得到大大提高。
2 nor flash 存储器及其特性
nor flash 和nand flash 是目前市场上两种主要的flash 存储器。一般在非海量存储型的嵌入式设备中都是直接采用nor flash 作为程序代码和非易失性数据的存储器, 这主要是由norflash 的特点所决定的。nor flash 的特点如下:
1) 存储容量较小, 一般在1~ 16mbyte 之间。
2) 具有和sram 相同的接口, 随机读取速度快, 可以做到芯片内执行( xip) [ 2] 。
3) 存储单元只能由1 写成0, 因此进行写操作前必须先进行擦除操作, 使对应的单元变成1。
4) 器件有一定的使用寿命, 一般为10~ 100 万次。随着使用次数的增加, 可能有的单元会失效。但是nor flash 出厂时器件的每个单元都有效。nor flash 的众多特性使得它成为嵌入式系统设计中首选的存储器器件。由于nor flash 的擦除操作都是以块为单位的, 并且不同种类的nor flash 器件所支持的擦除单位可能不一样, 但是每种nor flash 器件都支持64kb 为单位的擦除[ 3~ 4] , 因此后面介绍的分块管理方法将以64kb为块基本单位, 从而解决分块管理方法在不同种类nor flash 器件上实现时所出现的数据备份问题。
3 nor flash 分块管理方法
为了均衡每个flash 分块的使用次数, 提高整个存储器件的使用寿命, 对flash 采用分块管理的方法[ 5] 。以64kb 为单位, 将系统分配用作非易失性数据区域进行分块操作, 其中每个分块又分成16 字节的头部信息与数据区域。分块示意图如图1 所示。
图1 分块示意图
正是利用分块的头部信息, 进行擦除次数均衡与分块状态的切换。对于头部几个主要字段的定义如下:
1) block_flag ( 8bit) : 用于标志分块的状态, 总共有bf _not _ init ( 0xff) 、bf _free ( 0xfe)、bf_copying_ data ( 0xfc )、bf _ copy _ finished(0xf8) 、bf_inuse( 0xf0) 、bf_src_data ( 0xe0) 、bf_erasing( 0xc0)、bf_invalid(0x00) 8 种状态。
2) blo ck _ data _ t ype ( 8bit ) 和blo ck _ data _ty pe_ext ( 8bit ) : 分别表示该分块存储的数据类型和子类型, 这两个字段都由应用程序所存储的数据类型决定。例如学生信息的存储, 可能的一种存储方法是一个分块存储学生的学号信息, 而其它几个分块存储学生的具体信息, 这时它们的数据类型一样, 但是子类型却不一样。
3) block_erase_counter( 32bit ) : 该字段用来动态记录每个分块的擦除次数, 从而方便应用程序对flash 分块的使用次数进行均衡。
4) next_off set ( 16bit ) : 该字段为将来扩展之用, 用来将64k 的分块空间进一步细化, 使得将来1 个64k 空间内可以存储不同类型的数据。
4 nor flash 分块状态切换与使用均衡
在flash 的使用过程中, 必然存在着多次的数据更新, 当前嵌入式系统中数据更新的一般做法是先将新数据写入flash, 然后将旧的数据置为无效状态[ 6] 。如果每次数据更新都马上将原先数据擦除,则将造成flash 的擦除次数急剧增加。随着数据更新次数的增多, 也就导致flash 存储系统中的可用资源不断减少, 因此在某个时刻就必须对系统中的垃圾资源进行回收。通过巧妙设置flash 分块的状态,并在资源回收过程中对源、目标两个分块进行适当的状态切换, 可以确保在资源回收过程中不会因掉电原因而产生数据的丢失。令回收源分块为a, 新目标分块为b, 资源回收流程如图2 所示。
图2 资源回收流程图
对于每次系统上电后, 应用程序将读取每个flash 数据分块的头部信息, 在内存中建立相应的分块信息表, 同时根据头部信息和空闲地址搜索算法去初始化每种数据类型的起始地址与空闲区域首地址, 同时必须对异常状态进行检测恢复。其中对每个分块的初始化主要是根据分块头部的状态信息进行判断, 检测是否之前有掉电过, 然后做出相应处理, 主要有以下几种可能:
1) 状态为bf _not _init, 则将其初始化为bf_free 状态。
2) 状态为bf_free 或bf_inuse, 则在内存中建立分块信息, 无需其它操作。
3) 状态为bf _ copyin g _ dat a 或bf _erasing, 则将其擦除后置为bf_free 状态。
4) 分块a 状态为bf_src_data, 如果有另一个分块b 为bf_copy _finished, 则根据流程图继续完成资源回收操作。如果有另一个分块b 为bf_copying_dat a, 则擦除b 后置为bf_free 状态, 然后对a 重新进行资源回收操作。
5) 状态为bf_inva lid, 则该块为坏块, 不在内存中建立分块信息。为了均衡每一个分块的使用次数, 延长整块flash 的使用寿命, 在每次进行分块擦除之后, 必须先将之前记录下来的block_erase_counter 加1, 然后组成新的头部信息重新写回分块头部, 从而达到动态记录每个分块擦除次数的功能。在进行空闲分块申请的时候, 必须遍历所有状态为bf_free 分块, 选取block_erase_counter 数值最小的作为新分块分配, 从而使得每个分块的使用次数趋于一致。
5 分块管理在嵌入式软件系统中的实现
在嵌入式软件的设计中, 良好的软件架构设计可以使得软件具有更好的可靠性及可扩展性。目前分层架构是嵌入式软件系统设计中最为流行的一种[ 7] 。因此在软件实现过程中, 采用了分层的软件架构将分块管理软件分为flash 驱动层、no rflash 分块管理层和数据类型管理层三层。具体的软硬件分层示意图如图3 所示。
图3 存储模块软件构架
软件最底层为flash 驱动层, 考虑到nor flash存储器的多样性, 并且各种器件的底层驱动可能不同, 因此flash 驱动层的建立可以向分块管理层屏蔽具体的硬件信息。一般驱动层的实现主要采用函数指针的方法进行[ 8] , 初始化时通过读取不同flash 的id 分别对read、write 和erase 等基本操作函数指针进行赋值, 此后上层软件在对flash 进行实际操作时则通过函数指针进行, 并不清楚具体的flash 信息。在嵌入式系统中, 非易失性数据的种类有多种多样, 因此分块管理层本身并不涉及具体类型数据的存储方法, 只是预留几个字段用于记录数据类型等信息[ 9] 。这些字段用于数据类型管理程序初始化时使用。数据类型管理层的主要功能是管理nor flash存储器中不同类型的数据, 向应用程序提供基于数据类型的各种操作, 屏蔽掉具体的分块管理信息。分块管理层程序负责资源回收算法、开机flash 异常恢复算法的实现, 同时向数据类型管理层提供各种类型数据的所在的分块地址信息。通过这种构架使得每一层的实现都易于采用面向对象的思想实现, 其中从底层至上层的对象分别flash、分块、数据类型。
6 结语
通过采用分块管理与状态转换的方法, flash的存储性能有了较大的改善, 而且数据的可靠性也有很大提高, 特别适用于无文件系统嵌入式设备中的数据存储。同时通过合理的软件构架使得各个分层都易于采用面向对象的思想实现, 这样有利于软件的扩展与移植。目前这种方法已经在数字电视机顶盒中采用, 实现效果甚好, 并且为上层软件的设计带来很大方便。
stm32/stm8
意法半导体/st/stm
下半年上市的新机:华为mate10、小米Note3、三星Note8、iPhone8和诺基亚9,你最期待谁的到来?
人工智能技术的迅速兴起 给传统家电业带来了巨大变革
自恢复保险丝PPTC工作原理及选型应用
计数器的级连使用
新型多通道可见光通信系统技术介绍
嵌入式系统Flash存储管理策略研究
基于电流采样的并联有源电力滤波器改进控制方法研究
什么是URL?为什么要做URL静态化？
浅析GPU/CPU领域散热工艺的发展与路径
招投标资讯｜智慧灯杆项目管理服务采购项目
介质超构表面的CMOS兼容制备工艺的进展
启扬方案：智能试剂柜解决方案，搭建危化品、医用耗材信息管理系统
2020 年 iPhone将采用高通的屏下指纹方案,支持5G
PartSim教程：模拟电源
放大电路的电压放大倍数如何计算（单级与多级）
高通、英特尔和海思如何玩转物联网芯片
沉浸式光刻技术是什么 原理是什么
三星曾透露将要发布的中端机型Galaxy A8s渲染图被曝光
小米6什么时候上市？小米6除了备货足以外, 还有这些信息基本上是可以确定的!
视频监控矩阵四种常见故障和解决方法介绍
嵌入式系统中通常都需要存放一些非易失性数据, 并且数据量的大小和数据类型根据不同系统需求差异很大。因此选取合适的存储器是完成数据存储系统的第一步, 更重要的是使存储系统长期稳定、高效的工作, 这就必须寻求一个完备的存储器数据管理方法[ 1] 。本文介绍了一种适用于无文件系统环境下的n or flash 管理方法, 采用分块管理和状态转换的方法使得flash 的使用效率和操作可靠性得到大大提高。
2 nor flash 存储器及其特性
nor flash 和nand flash 是目前市场上两种主要的flash 存储器。一般在非海量存储型的嵌入式设备中都是直接采用nor flash 作为程序代码和非易失性数据的存储器, 这主要是由norflash 的特点所决定的。nor flash 的特点如下:
1) 存储容量较小, 一般在1~ 16mbyte 之间。
2) 具有和sram 相同的接口, 随机读取速度快, 可以做到芯片内执行( xip) [ 2] 。
3) 存储单元只能由1 写成0, 因此进行写操作前必须先进行擦除操作, 使对应的单元变成1。
4) 器件有一定的使用寿命, 一般为10~ 100 万次。随着使用次数的增加, 可能有的单元会失效。但是nor flash 出厂时器件的每个单元都有效。nor flash 的众多特性使得它成为嵌入式系统设计中首选的存储器器件。由于nor flash 的擦除操作都是以块为单位的, 并且不同种类的nor flash 器件所支持的擦除单位可能不一样, 但是每种nor flash 器件都支持64kb 为单位的擦除[ 3~ 4] , 因此后面介绍的分块管理方法将以64kb为块基本单位, 从而解决分块管理方法在不同种类nor flash 器件上实现时所出现的数据备份问题。
3 nor flash 分块管理方法
为了均衡每个flash 分块的使用次数, 提高整个存储器件的使用寿命, 对flash 采用分块管理的方法[ 5] 。以64kb 为单位, 将系统分配用作非易失性数据区域进行分块操作, 其中每个分块又分成16 字节的头部信息与数据区域。分块示意图如图1 所示。
图1 分块示意图
正是利用分块的头部信息, 进行擦除次数均衡与分块状态的切换。对于头部几个主要字段的定义如下:
1) block_flag ( 8bit) : 用于标志分块的状态, 总共有bf _not _ init ( 0xff) 、bf _free ( 0xfe)、bf_copying_ data ( 0xfc )、bf _ copy _ finished(0xf8) 、bf_inuse( 0xf0) 、bf_src_data ( 0xe0) 、bf_erasing( 0xc0)、bf_invalid(0x00) 8 种状态。
2) blo ck _ data _ t ype ( 8bit ) 和blo ck _ data _ty pe_ext ( 8bit ) : 分别表示该分块存储的数据类型和子类型, 这两个字段都由应用程序所存储的数据类型决定。例如学生信息的存储, 可能的一种存储方法是一个分块存储学生的学号信息, 而其它几个分块存储学生的具体信息, 这时它们的数据类型一样, 但是子类型却不一样。
3) block_erase_counter( 32bit ) : 该字段用来动态记录每个分块的擦除次数, 从而方便应用程序对flash 分块的使用次数进行均衡。
4) next_off set ( 16bit ) : 该字段为将来扩展之用, 用来将64k 的分块空间进一步细化, 使得将来1 个64k 空间内可以存储不同类型的数据。
4 nor flash 分块状态切换与使用均衡
在flash 的使用过程中, 必然存在着多次的数据更新, 当前嵌入式系统中数据更新的一般做法是先将新数据写入flash, 然后将旧的数据置为无效状态[ 6] 。如果每次数据更新都马上将原先数据擦除,则将造成flash 的擦除次数急剧增加。随着数据更新次数的增多, 也就导致flash 存储系统中的可用资源不断减少, 因此在某个时刻就必须对系统中的垃圾资源进行回收。通过巧妙设置flash 分块的状态,并在资源回收过程中对源、目标两个分块进行适当的状态切换, 可以确保在资源回收过程中不会因掉电原因而产生数据的丢失。令回收源分块为a, 新目标分块为b, 资源回收流程如图2 所示。
图2 资源回收流程图
对于每次系统上电后, 应用程序将读取每个flash 数据分块的头部信息, 在内存中建立相应的分块信息表, 同时根据头部信息和空闲地址搜索算法去初始化每种数据类型的起始地址与空闲区域首地址, 同时必须对异常状态进行检测恢复。其中对每个分块的初始化主要是根据分块头部的状态信息进行判断, 检测是否之前有掉电过, 然后做出相应处理, 主要有以下几种可能:
1) 状态为bf _not _init, 则将其初始化为bf_free 状态。
2) 状态为bf_free 或bf_inuse, 则在内存中建立分块信息, 无需其它操作。
3) 状态为bf _ copyin g _ dat a 或bf _erasing, 则将其擦除后置为bf_free 状态。
4) 分块a 状态为bf_src_data, 如果有另一个分块b 为bf_copy _finished, 则根据流程图继续完成资源回收操作。如果有另一个分块b 为bf_copying_dat a, 则擦除b 后置为bf_free 状态, 然后对a 重新进行资源回收操作。
5) 状态为bf_inva lid, 则该块为坏块, 不在内存中建立分块信息。为了均衡每一个分块的使用次数, 延长整块flash 的使用寿命, 在每次进行分块擦除之后, 必须先将之前记录下来的block_erase_counter 加1, 然后组成新的头部信息重新写回分块头部, 从而达到动态记录每个分块擦除次数的功能。在进行空闲分块申请的时候, 必须遍历所有状态为bf_free 分块, 选取block_erase_counter 数值最小的作为新分块分配, 从而使得每个分块的使用次数趋于一致。
5 分块管理在嵌入式软件系统中的实现
在嵌入式软件的设计中, 良好的软件架构设计可以使得软件具有更好的可靠性及可扩展性。目前分层架构是嵌入式软件系统设计中最为流行的一种[ 7] 。因此在软件实现过程中, 采用了分层的软件架构将分块管理软件分为flash 驱动层、no rflash 分块管理层和数据类型管理层三层。具体的软硬件分层示意图如图3 所示。
图3 存储模块软件构架
软件最底层为flash 驱动层, 考虑到nor flash存储器的多样性, 并且各种器件的底层驱动可能不同, 因此flash 驱动层的建立可以向分块管理层屏蔽具体的硬件信息。一般驱动层的实现主要采用函数指针的方法进行[ 8] , 初始化时通过读取不同flash 的id 分别对read、write 和erase 等基本操作函数指针进行赋值, 此后上层软件在对flash 进行实际操作时则通过函数指针进行, 并不清楚具体的flash 信息。在嵌入式系统中, 非易失性数据的种类有多种多样, 因此分块管理层本身并不涉及具体类型数据的存储方法, 只是预留几个字段用于记录数据类型等信息[ 9] 。这些字段用于数据类型管理程序初始化时使用。数据类型管理层的主要功能是管理nor flash存储器中不同类型的数据, 向应用程序提供基于数据类型的各种操作, 屏蔽掉具体的分块管理信息。分块管理层程序负责资源回收算法、开机flash 异常恢复算法的实现, 同时向数据类型管理层提供各种类型数据的所在的分块地址信息。通过这种构架使得每一层的实现都易于采用面向对象的思想实现, 其中从底层至上层的对象分别flash、分块、数据类型。
6 结语
通过采用分块管理与状态转换的方法, flash的存储性能有了较大的改善, 而且数据的可靠性也有很大提高, 特别适用于无文件系统嵌入式设备中的数据存储。同时通过合理的软件构架使得各个分层都易于采用面向对象的思想实现, 这样有利于软件的扩展与移植。目前这种方法已经在数字电视机顶盒中采用, 实现效果甚好, 并且为上层软件的设计带来很大方便。
stm32/stm8
意法半导体/st/stm
下半年上市的新机:华为mate10、小米Note3、三星Note8、iPhone8和诺基亚9,你最期待谁的到来?
人工智能技术的迅速兴起 给传统家电业带来了巨大变革
自恢复保险丝PPTC工作原理及选型应用
计数器的级连使用
新型多通道可见光通信系统技术介绍
嵌入式系统Flash存储管理策略研究
基于电流采样的并联有源电力滤波器改进控制方法研究
什么是URL?为什么要做URL静态化？
浅析GPU/CPU领域散热工艺的发展与路径
招投标资讯｜智慧灯杆项目管理服务采购项目
介质超构表面的CMOS兼容制备工艺的进展
启扬方案：智能试剂柜解决方案，搭建危化品、医用耗材信息管理系统
2020 年 iPhone将采用高通的屏下指纹方案,支持5G
PartSim教程：模拟电源
放大电路的电压放大倍数如何计算（单级与多级）
高通、英特尔和海思如何玩转物联网芯片
沉浸式光刻技术是什么 原理是什么
三星曾透露将要发布的中端机型Galaxy A8s渲染图被曝光
小米6什么时候上市？小米6除了备货足以外, 还有这些信息基本上是可以确定的!
视频监控矩阵四种常见故障和解决方法介绍