代码覆盖率测试工具BullseyeCoverage在嵌入式软件系统中的应用研究
软件测试的重要性是毋庸置疑的。如何以最少的人力和资源投入，在最短的时间内完成测试，发现软件系统的缺陷，保证软件的优良品质，是软件公司探索和追求的目标。然而大家都知道，从理论上讲测试是永无止境的，只要不断测试就一定能不断发现问题，那么究竟如何度量测试的进度，如何判断测试可以完结呢？这些，可以依靠测试覆盖率的分析来实现。嵌入式软件系统也不例外。
1 代码覆盖分析
代码覆盖分析过程包含以下几个方面：
◇通过一组覆盖测试数据发现和分析那些没有被运行到的代码；
◇为了提高代码覆盖率而设计新的测试用例；
◇确定代码覆盖的定量标准，这些数据也间接地反映测试质量；
◇识别那些冗余的测试用例。
代码覆盖分析是一种白盒测试方法，因为覆盖分析需要访问测试代码本身，且经常需要重新编译程序，以程序的内部结构为基础来设计测试案例。其基本准则是测试案例要尽可能多地覆盖程序的内部逻辑结构，发现其中的错误和问题。另外要注意的是，覆盖分析并不是为了提高程序本身的质量而是为了确保测试用例的质量。一般来说，覆盖分析通常应用在软件测试的早期，即单元测试阶段。在软件发布版本阶段是不需要运行软件覆盖分析的。
2 覆盖分析在嵌入式系统上的问题
嵌入式软件的开发与通用软件的开发很大的不同点在于：嵌入式系统需要采用交叉开发的方式，即开发工具运行在软硬件配置丰富的宿主机上，而嵌入式应用程序则运行在软硬件资源相对缺乏的目标机上。所以针对覆盖分析测试，嵌入式系统的困难之一就是如何获取测试产生的覆盖数据。大多数的覆盖分析测试工具都需要对代码插装，而当在目标环境下运行经过代码插装的可执行程序时，就会有覆盖分析数据产生。这些数据是分析覆盖数据报告的重要输入条件，所以要顺利实现嵌入式系统覆盖分析的一个关键点是如何建立宿主机与目标机之间的物理／逻辑连接，解决覆盖分析数据信息的传输问题。
3 bullseyecoverage的实现方式
bullseyecoverage是bullseye公司提供的一款c／c++代码覆盖率测试工具。相对于rational公司的pure cov-erage，bullseyecoverage支持的c／c++编译器更多，除了支持各种unix下的编译器之外，在windows下还支持vc、borland c++、gnu c++和intel c++。其提供的代码覆盖率是基于条件／判断的分支覆盖率，而不是一般的代码行覆盖率。
bullseyecoverage采用的是先对代码进行插装，然后收集覆盖数据，最后分析覆盖率原理的技术。其工作原理是：针对不同的编译器，设计一个和真实编译器名字相同的拦截器，这些拦截器文件存放在bullseyecoverage的bin目录下。当覆盖编译开关打开时，文件在编译过程中将首先被这些拦截器所拦截，而不是由真实的编译器去编译源代码。在这个拦截过程中，拦截器将一系列探针代码插入到c／c++源代码中，然后文件再次通过真实的编译器生成二进制代码。当覆盖编译开关关闭时，这些拦截器将直接调用真实的编译器而不进行代码插装的过程。两者的区别及调用关系如图1所示。
当完成了代码插装并且将编译好的运行文件下载到嵌入式系统后，开始代码覆盖分析另外一个重要的工作过程——覆盖分析数据更新过程。由于bullseyecoverage需要在运行时态对经过覆盖拦截器生成的覆盖分析文件（大小一般是运行代码的1.2～1.5倍）进行读写操作，所以可以对覆盖文件的大小进行简单的估计，以便设计系统。存数据更新过程中，bullseyecovcrage的每次读写操作范围为1字节～4 kb。另外，bullseyecoverage只有在测试程序触发了cov_write函数时才会对覆盖分析文件进行更新。如果覆盖没有更新，那么相应地也没有i／o动作发生。针对嵌入式系统，bullseyecoverage有两种实现的方式：
①利用读取内存区数据的原理。首先，通过串口、以太网或者usb将覆盖分析文件下载到嵌入式系统的某个未用内存区域；然后，修改测试工具的i／o库函数，将对覆盖分析文件操作的更新数据直接写入那块内存区域中。这样在测试开始后，分析程序会自动更新位于内存中的覆盖分析文件。由于覆盖分析文件在内存中，所以这种读写操作的速度会非常快。测试完成后，通过串口、网络或者usb再次将覆盖分析文件读回到pc机中，然后利用工具对覆盖结果进行分析。
②利用实际物理通道的原理。系统需要对覆盖分析文件的i／o操作进行封装，将需要更新的操作命令和更新内容通过串口、网络或者usb传递给宿主系统，而宿主系统需要实现一个简单的接收更新程序对覆盖文件进行更新。在这种实现方式中，最困难的是对每次数据传输的缓冲区大小进行估计。由于bullseyecoverage每次对覆盖分析文件的读写操作的范围是1字节～4 kb，而通常情况下，更新数据会是4～8字节的小数据块（在较频繁的操作中也会有100字节～4 kb数据的更新块），所以bullseye-coverage会采取减少数据传递次数、增大数据块的做法，一次性传递完更新数据。如何保证数据的低延时足这种方式的关键点。
4 嵌入式操作系统nucleus的具体应用
nucleus plus嵌入式操作系统是目前最受欢迎的操作系统。nucleus plus是为实时嵌入式应用而设计的一个抢先式多任务操作系统内核，其95％的代码是用ansic写成的，因此非常便于移植，并能够支持大多数类型的处理器。nucleus plus最大的优势在于提供注释严格的c源代码给每一个用户。这样，用户能够深入地了解底层内核的运作方式，并可根据自己的特殊要求删减或改动系统软件，这对软件的规范化管理及系统软件的测试都有极大的帮助。
基于时间效率的要求，在nucleus嵌入式系统中实现代码覆盖分析采用的是内存存取操作的方式。具体实现过程如下：
①安装bullseyecoverage，选择合适的编译器。由于使用pxa270作为开发平台，所以也选用了intel c++编译器。安装完成后，从命令行输人命令“set covfile=xxx”来设定覆盖分析文件的输出地点和具体名称。默认的名称是test.cov。
②修改makefile，将编译器的路径设置到bullseye-coveragc的bin目录下。
③使用命令“cov01-1”打开覆盖编译选项。然后编译代码，需要在编译过程中确定调用了bullseyecoverage的拦截器，可以通过查看编译记录中是否含有“bullseye-coverage compile c++version platform”的信息确定。通常会在编译结束时发现链接错误，这是由于需要调用的函数实现体并没有编译、链接进来。
④进入到bullseyecoverage的run目录下，根据系统平台要求修改libcov-user.h、atomic-user.h和makefile文件，用-dsys_user区编译bullseyecoverage运行库文件。通过这个选项可以使编译器选择用户自定义的平台文件，在这些文件中就含有需要封装的一些函数，如write、read、open等。编译完的库文件可以命名为libcov-user.a或libcov-user.lib。
⑤修改要测试系统的编译文件，在makefile的链接过程中加入libcov-user.a或libcov-user.lib。再次重新编泽，应该没有任何错误。
⑥根据bullseyecoverage的要求，将libcov-user.h中带有required标识的函数根据具体情况实现。在这个过程中，建议首先实现error_write_screen，这样在后续过程中可以将错误信息打印到屏幕或者输出到测试日志中，然后逐步实现其他函数。
⑦实现了所有必需的函数后，重新编译一遍确定没有任何编译、链接问题。最终会生成2个文件，一个是要运行的二进制文件（如ffs.bin），另外一个是覆盖分析文件test.cov。
⑧将ffs.bin和覆盖文件文件分别下载到系统中。其中，将ffs.bin下载到flash存储器中，通过nucleus的调试命令download将test.cov下载到系统内存中。
⑨运行二进制代码，在这个过程中，系统内存结构如图2所示。
⑩二进制代码运行完毕后，用nucleus的调试命令upload将test.cov上载到pc机中。
⑾用coverage browser打开test.cov，覆盖分析结果就得到了。
通过实验，在没有使用bullseyecoverage时，一般测试方式的测试覆盖率大致是55％～70％；而通过使用bullseyecoverage重新设计测试用例，测试覆盖率提高到了85％～90％，其中7％的测试用例直接影响到产品的质量。使用测试覆盖分析工具bullseyecoverage可以使测试更有针对性，减少冗余测试用例测试，提高测试团队的工作效率，能够在开发过程中尽早地发现bug。
5 总 结
测试覆盖分析是一种对测试阶段度量及测试工作情况进行分析的很好的方法，可以使测试程度更为明确，阶段进度一目了然，其统计值也便于管理部门对当前测试状态进行了解与把握。
基于SGAS707气体传感器的精确气体监测系统设计
编一个创意小“竹灯” 炎炎夏日好清凉
第五代树莓派效能数据揭露
AUTOSAR解决方案 — INTEWORK-EAS-CP
360手机N7Lite评测 有着成为爆款的巨大潜质
代码覆盖率测试工具BullseyeCoverage在嵌入式软件系统中的应用研究
海信电视十年来的成功发展历程 堪称中国制造业转型升级的绝佳样本
如何使用三菱梯形图FB块来高效完成PLC程序编写
面向工业物联网应用的低成本高性能低功耗串口WiFi模块
二手投影机选购要点指南
6月研讨会报名中 | 快来get新知识！
华大电子连续三年蝉联“中国最有影响力物联网安全企业奖”
iGameDDR48G3200内存评测 市售性价比最高的B-DIERGB内存
韩国投资者谈区块链
KUKA机器人的涂胶控制
解读ChatGPT背后的技术重点
华为四项主张为5G商用铺平了道路
什么是量子计算机？量子计算机的诞生，人类是否有望被模拟出来？
Instruct-UIE：信息抽取统一大模型
三星Galaxy Note10+星球大战特别版将于12月13日开始限量销售
1 代码覆盖分析
代码覆盖分析过程包含以下几个方面：
◇通过一组覆盖测试数据发现和分析那些没有被运行到的代码；
◇为了提高代码覆盖率而设计新的测试用例；
◇确定代码覆盖的定量标准，这些数据也间接地反映测试质量；
◇识别那些冗余的测试用例。
代码覆盖分析是一种白盒测试方法，因为覆盖分析需要访问测试代码本身，且经常需要重新编译程序，以程序的内部结构为基础来设计测试案例。其基本准则是测试案例要尽可能多地覆盖程序的内部逻辑结构，发现其中的错误和问题。另外要注意的是，覆盖分析并不是为了提高程序本身的质量而是为了确保测试用例的质量。一般来说，覆盖分析通常应用在软件测试的早期，即单元测试阶段。在软件发布版本阶段是不需要运行软件覆盖分析的。
2 覆盖分析在嵌入式系统上的问题
嵌入式软件的开发与通用软件的开发很大的不同点在于：嵌入式系统需要采用交叉开发的方式，即开发工具运行在软硬件配置丰富的宿主机上，而嵌入式应用程序则运行在软硬件资源相对缺乏的目标机上。所以针对覆盖分析测试，嵌入式系统的困难之一就是如何获取测试产生的覆盖数据。大多数的覆盖分析测试工具都需要对代码插装，而当在目标环境下运行经过代码插装的可执行程序时，就会有覆盖分析数据产生。这些数据是分析覆盖数据报告的重要输入条件，所以要顺利实现嵌入式系统覆盖分析的一个关键点是如何建立宿主机与目标机之间的物理／逻辑连接，解决覆盖分析数据信息的传输问题。
3 bullseyecoverage的实现方式
bullseyecoverage是bullseye公司提供的一款c／c++代码覆盖率测试工具。相对于rational公司的pure cov-erage，bullseyecoverage支持的c／c++编译器更多，除了支持各种unix下的编译器之外，在windows下还支持vc、borland c++、gnu c++和intel c++。其提供的代码覆盖率是基于条件／判断的分支覆盖率，而不是一般的代码行覆盖率。
bullseyecoverage采用的是先对代码进行插装，然后收集覆盖数据，最后分析覆盖率原理的技术。其工作原理是：针对不同的编译器，设计一个和真实编译器名字相同的拦截器，这些拦截器文件存放在bullseyecoverage的bin目录下。当覆盖编译开关打开时，文件在编译过程中将首先被这些拦截器所拦截，而不是由真实的编译器去编译源代码。在这个拦截过程中，拦截器将一系列探针代码插入到c／c++源代码中，然后文件再次通过真实的编译器生成二进制代码。当覆盖编译开关关闭时，这些拦截器将直接调用真实的编译器而不进行代码插装的过程。两者的区别及调用关系如图1所示。
当完成了代码插装并且将编译好的运行文件下载到嵌入式系统后，开始代码覆盖分析另外一个重要的工作过程——覆盖分析数据更新过程。由于bullseyecoverage需要在运行时态对经过覆盖拦截器生成的覆盖分析文件（大小一般是运行代码的1.2～1.5倍）进行读写操作，所以可以对覆盖文件的大小进行简单的估计，以便设计系统。存数据更新过程中，bullseyecovcrage的每次读写操作范围为1字节～4 kb。另外，bullseyecoverage只有在测试程序触发了cov_write函数时才会对覆盖分析文件进行更新。如果覆盖没有更新，那么相应地也没有i／o动作发生。针对嵌入式系统，bullseyecoverage有两种实现的方式：
①利用读取内存区数据的原理。首先，通过串口、以太网或者usb将覆盖分析文件下载到嵌入式系统的某个未用内存区域；然后，修改测试工具的i／o库函数，将对覆盖分析文件操作的更新数据直接写入那块内存区域中。这样在测试开始后，分析程序会自动更新位于内存中的覆盖分析文件。由于覆盖分析文件在内存中，所以这种读写操作的速度会非常快。测试完成后，通过串口、网络或者usb再次将覆盖分析文件读回到pc机中，然后利用工具对覆盖结果进行分析。
②利用实际物理通道的原理。系统需要对覆盖分析文件的i／o操作进行封装，将需要更新的操作命令和更新内容通过串口、网络或者usb传递给宿主系统，而宿主系统需要实现一个简单的接收更新程序对覆盖文件进行更新。在这种实现方式中，最困难的是对每次数据传输的缓冲区大小进行估计。由于bullseyecoverage每次对覆盖分析文件的读写操作的范围是1字节～4 kb，而通常情况下，更新数据会是4～8字节的小数据块（在较频繁的操作中也会有100字节～4 kb数据的更新块），所以bullseye-coverage会采取减少数据传递次数、增大数据块的做法，一次性传递完更新数据。如何保证数据的低延时足这种方式的关键点。
4 嵌入式操作系统nucleus的具体应用
nucleus plus嵌入式操作系统是目前最受欢迎的操作系统。nucleus plus是为实时嵌入式应用而设计的一个抢先式多任务操作系统内核，其95％的代码是用ansic写成的，因此非常便于移植，并能够支持大多数类型的处理器。nucleus plus最大的优势在于提供注释严格的c源代码给每一个用户。这样，用户能够深入地了解底层内核的运作方式，并可根据自己的特殊要求删减或改动系统软件，这对软件的规范化管理及系统软件的测试都有极大的帮助。
基于时间效率的要求，在nucleus嵌入式系统中实现代码覆盖分析采用的是内存存取操作的方式。具体实现过程如下：
①安装bullseyecoverage，选择合适的编译器。由于使用pxa270作为开发平台，所以也选用了intel c++编译器。安装完成后，从命令行输人命令“set covfile=xxx”来设定覆盖分析文件的输出地点和具体名称。默认的名称是test.cov。
②修改makefile，将编译器的路径设置到bullseye-coveragc的bin目录下。
③使用命令“cov01-1”打开覆盖编译选项。然后编译代码，需要在编译过程中确定调用了bullseyecoverage的拦截器，可以通过查看编译记录中是否含有“bullseye-coverage compile c++version platform”的信息确定。通常会在编译结束时发现链接错误，这是由于需要调用的函数实现体并没有编译、链接进来。
④进入到bullseyecoverage的run目录下，根据系统平台要求修改libcov-user.h、atomic-user.h和makefile文件，用-dsys_user区编译bullseyecoverage运行库文件。通过这个选项可以使编译器选择用户自定义的平台文件，在这些文件中就含有需要封装的一些函数，如write、read、open等。编译完的库文件可以命名为libcov-user.a或libcov-user.lib。
⑤修改要测试系统的编译文件，在makefile的链接过程中加入libcov-user.a或libcov-user.lib。再次重新编泽，应该没有任何错误。
⑥根据bullseyecoverage的要求，将libcov-user.h中带有required标识的函数根据具体情况实现。在这个过程中，建议首先实现error_write_screen，这样在后续过程中可以将错误信息打印到屏幕或者输出到测试日志中，然后逐步实现其他函数。
⑦实现了所有必需的函数后，重新编译一遍确定没有任何编译、链接问题。最终会生成2个文件，一个是要运行的二进制文件（如ffs.bin），另外一个是覆盖分析文件test.cov。
⑧将ffs.bin和覆盖文件文件分别下载到系统中。其中，将ffs.bin下载到flash存储器中，通过nucleus的调试命令download将test.cov下载到系统内存中。
⑨运行二进制代码，在这个过程中，系统内存结构如图2所示。
⑩二进制代码运行完毕后，用nucleus的调试命令upload将test.cov上载到pc机中。
⑾用coverage browser打开test.cov，覆盖分析结果就得到了。
通过实验，在没有使用bullseyecoverage时，一般测试方式的测试覆盖率大致是55％～70％；而通过使用bullseyecoverage重新设计测试用例，测试覆盖率提高到了85％～90％，其中7％的测试用例直接影响到产品的质量。使用测试覆盖分析工具bullseyecoverage可以使测试更有针对性，减少冗余测试用例测试，提高测试团队的工作效率，能够在开发过程中尽早地发现bug。
5 总 结
测试覆盖分析是一种对测试阶段度量及测试工作情况进行分析的很好的方法，可以使测试程度更为明确，阶段进度一目了然，其统计值也便于管理部门对当前测试状态进行了解与把握。
基于SGAS707气体传感器的精确气体监测系统设计
编一个创意小“竹灯” 炎炎夏日好清凉
第五代树莓派效能数据揭露
AUTOSAR解决方案 — INTEWORK-EAS-CP
360手机N7Lite评测 有着成为爆款的巨大潜质
代码覆盖率测试工具BullseyeCoverage在嵌入式软件系统中的应用研究
海信电视十年来的成功发展历程 堪称中国制造业转型升级的绝佳样本
如何使用三菱梯形图FB块来高效完成PLC程序编写
面向工业物联网应用的低成本高性能低功耗串口WiFi模块
二手投影机选购要点指南
6月研讨会报名中 | 快来get新知识！
华大电子连续三年蝉联“中国最有影响力物联网安全企业奖”
iGameDDR48G3200内存评测 市售性价比最高的B-DIERGB内存
韩国投资者谈区块链
KUKA机器人的涂胶控制
解读ChatGPT背后的技术重点
华为四项主张为5G商用铺平了道路
什么是量子计算机？量子计算机的诞生，人类是否有望被模拟出来？
Instruct-UIE：信息抽取统一大模型
三星Galaxy Note10+星球大战特别版将于12月13日开始限量销售