基于应用程序编程接口（API）的自动化测试（上）
作者 | 黄杉 华东师范大学软件工程学院博士
苏亭 华东师范大学软件工程学院教授
版块 | 鉴源论坛 · 观模
社群 | 添加微信号“ticpshanghai”加入“上海控安51fusa安全社区”
01
应用程序编程接口（api）
应用程序编程接口，英文全称为application programming interface[7]（简称api），是一组定义了软件组件如何互相通信和交互的规则和协议。和用户接口（user interface，简称ui）不同，api的目的是连接不同的软件，允许不同的软件应用程序之间共享功能和数据，而无需了解其内部实现细节。
api的表现形式一般是使用某种编程语言编写的函数（function）或者数据结构（data structure）。对一个应用程序中的编程接口进行定义和说明的文档被称为api规格说明（api specification）。公开的api和其对应的规格说明使得该应用程序开发者之外的开发人员能够调用这些api，并通过新编写的软件逻辑实现新功能或者对原有功能进行扩展。这使得开发人员能够构建更加模块化、可扩展和可重用的软件。api在现代软件开发中起着重要作用，它们促进了分布式系统、微服务架构和应用程序集成。通过使用api，开发人员可以利用现有功能，加快开发速度，提高代码的可维护性和可重用性。
02
自动化api测试
随着软件技术的发展，由于软件结构的高度复杂和软件开发周期的不断缩短，为了确保应用程序的质量和安全，api自身的功能正确性和使用安全性越来越重要，能快速有效地对api进行测试是关键。api测试是一种直接对api进行测试的软件测试技术，主要用于保证开发人员所编写的api满足给定的功能目标、性能目标和安全目标。
现代软件的架构大部分采用模块化和分层化的模式，各模块和层次之间通过api进行功能交互和数据传输。当某个模块或者软件层提供的api存在软件错误（bug），那么依赖该模块或者该软件层的其他模块和软件层自身功能也将出现错误。最坏情况下可能导致应用程序整体出错，影响用户使用体验，危害用户数据安全。因此，api测试是非常必要且需要重视的一个软件开发流程阶段。当api测试足够充分并且结果表明被测api正确无误时，使用这些api构建的应用程序或者程序功能才有基础的质量和安全保障。
从最初的软件开发瀑布模型（waterfall model）到时下流行的敏捷开发（agile development）和devops，软件开发周期不断缩短，使得如何高效保障应用程序的质量和安全受到更多的关注，也就催生了自动化测试（automated testing）。api测试也顺势进入自动化时代。从通用自动化api测试技术（如单元测试、模糊测试）到特定编程语言的测试框架（如pytest[9]、junit[10]），从传统的应用程序编程库（library）api测试到web场景下的restful api测试，自动化api测试技术得到广泛发展。
03
自动化api测试对象
自动化api测试的对象目前主要分为两种：函数级api（function-level api）和restful api。前者是传统的程序编程库（或者称为第三方库）或者系统库中为开发者提供的api接口，需要开发者在软件代码中实际调用才能够发挥作用。后者则是在web和云场景下广泛使用的具有rest规范的api，一般以客户端向服务器发起http请求的形式呈现。对两者进行自动化测试在形式上相同，都需要测试人员编写特定的测试驱动进行api调用来完成测试，测试的重要内容也都是检查api调用的执行结果是否符合预期以及api执行过程中是否出现错误。而不同之处在于，函数级api通常运行在本地环境，而restful api运行在云端环境，api的调用形式不同，整体的交互环境和测试框架也有所差异。
3.1 函数级 api
函数级api（function-level api）主要是指库api和系统调用。一般软件开发过程中，开发人员编写的单个函数或者软件模块中暴露的api接口也属于函数级api范畴。对于这一类api的自动化测试主要通过由开发人员编写的或者自动生成的测试驱动（test driver）完成。
库api指的是sdk（software development kit）、标准库（standard libraries）和第三方库（third-party libraries）开放给软件开发人员调用的函数，如android sdk和python官方标准库中的api。库api通常是构建整个应用程序的基础，软件提供给用户的各种高级功能都将通过调用已有api或者组合已有api的方式实现，因此库api的正确性和安全性不言而喻。
系统调用（syscall）指的是操作系统中提供给开发人员进行用户空间和系统内核进行交互的接口，用于访问底层的操作系统功能，如linux中的open、malloc和fork。
3.2 restful api
restful api通过直观简短的统一资源标识符（uri）定义资源，通过json、xml等文件格式进行数据传输。restful api使用基于http动词的语义的操作来操作这些资源，例如get、post、delete和put。在处理http请求期间，api可能需要从数据库读取/写入数据，并与其他web服务通信。测试restful api不仅需要为不同的端点编写http消息，还需要选择正确的查询参数，以及正文有效载荷消息。
本文系统介绍了应用程序编程接口（api）的概念及其在软件开发中的作用与重要性，重点分享自动化api测试的发展历程与测试对象。后续，在基于应用程序编程接口（api）的自动化测试（下）中，笔者将深入剖析单元测试、模糊测试等当前主流的自动化api测试形式与技术。
参考文献：
[1] vaggelis atlidakis, patrice godefroid, and marina polishchuk. 2019. restler: stateful rest api fuzzing. in 2019 ieee/acm 41st international conference on software engineering (icse), 748–758.
[2] domagoj babić, stefan bucur, yaohui chen, franjo ivančić, tim king, markus kusano, caroline lemieux, lászló szekeres, and wei wang. 2019. fudge: fuzz driver generation at scale. in proceedings of the 2019 27th acm joint meeting on european software engineering conference and symposium on the foundations of software engineering (esec/fse 2019), association for computing machinery, new york, ny, usa, 975–985.
[3] sujit kumar chakrabarti and prashant kumar. 2009. test-the-rest: an approach to testing restful web-services. in 2009 computation world: future computing, service computation, cognitive, adaptive, content, patterns, 302–308
[4] harrison green and thanassis avgerinos. 2022. graphfuzz: library api fuzzing with lifetime-aware dataflow graphs. in 2022 ieee/acm 44th international conference on software engineering (icse), 1070–1081
[5] kyriakos ispoglou, daniel austin, vishwath mohan, and mathias payer. 2020. {fuzzgen}: automatic fuzzer generation. 2271–2287. retrieved july 5, 2023
[6] carlos pacheco, shuvendu k. lahiri, michael d. ernst, and thomas ball. 2007. feedback-directed random test generation. in 29th international conference on software engineering (icse’07), ieee, minneapolis, mn, usa, 75–84.
[7] 2023. api. wikipedia. retrieved august 16, 2023
[8] 2023. evomaster: a tool for automatically generating system-level test cases. retrieved august 16, 2023
[9] pytest: helps you write better programs — pytest documentation. retrieved august 16, 2023
[10] junit 5. retrieved august 16, 2023
[11] libfuzzer – a library for coverage-guided fuzz testing. — llvm 18.0.0git documentation. retrieved august 16, 2023
早下手早享受：818发烧节，细数那些值得入的全画幅单反
下一代欺骗技术——早期威胁检测
不论是不是力帆，选择代工才是车和家的当务之急
数字电源时序器的内部结构与数字电源时序器的常见故障
为什么工业互联网如此之热？
基于应用程序编程接口（API）的自动化测试（上）
滤波器的详细分类
无人值守变电站综合监控系统的作用、组成及电力加密网关的特点
家庭音响+互联网，玩起新创意
迪拜为了推动环保事业 电动车充电两年不收费
南京联通推出EasyMacro 2.0解决方案成功解决了高层住宅网络覆盖的问题
上海盈方微电子获CEVA-TeakLite-4 音频/语音 DSP内核授权许可
创基Type-C扩展坞让小接口扩出用户拥有的希望
五分钟看完戴姆勒精灵Smart C-NCAP碰撞测试全过程
扬尘噪声在线监测系统的功能作用及如何选择
Silicon Labs推出业界首款高速多通道PLC输入隔离器
华数机器人面向3C行业推出2021全新升级款装配机器人HSR-JR607
为什么在质量控制中需要机器人？
抑制PCB干扰,怎么在源头上把EMI减到最小
联想Z6正式发布 首次搭载骁龙730处理器
苏亭 华东师范大学软件工程学院教授
版块 | 鉴源论坛 · 观模
社群 | 添加微信号“ticpshanghai”加入“上海控安51fusa安全社区”
01
应用程序编程接口（api）
应用程序编程接口，英文全称为application programming interface[7]（简称api），是一组定义了软件组件如何互相通信和交互的规则和协议。和用户接口（user interface，简称ui）不同，api的目的是连接不同的软件，允许不同的软件应用程序之间共享功能和数据，而无需了解其内部实现细节。
api的表现形式一般是使用某种编程语言编写的函数（function）或者数据结构（data structure）。对一个应用程序中的编程接口进行定义和说明的文档被称为api规格说明（api specification）。公开的api和其对应的规格说明使得该应用程序开发者之外的开发人员能够调用这些api，并通过新编写的软件逻辑实现新功能或者对原有功能进行扩展。这使得开发人员能够构建更加模块化、可扩展和可重用的软件。api在现代软件开发中起着重要作用，它们促进了分布式系统、微服务架构和应用程序集成。通过使用api，开发人员可以利用现有功能，加快开发速度，提高代码的可维护性和可重用性。
02
自动化api测试
随着软件技术的发展，由于软件结构的高度复杂和软件开发周期的不断缩短，为了确保应用程序的质量和安全，api自身的功能正确性和使用安全性越来越重要，能快速有效地对api进行测试是关键。api测试是一种直接对api进行测试的软件测试技术，主要用于保证开发人员所编写的api满足给定的功能目标、性能目标和安全目标。
现代软件的架构大部分采用模块化和分层化的模式，各模块和层次之间通过api进行功能交互和数据传输。当某个模块或者软件层提供的api存在软件错误（bug），那么依赖该模块或者该软件层的其他模块和软件层自身功能也将出现错误。最坏情况下可能导致应用程序整体出错，影响用户使用体验，危害用户数据安全。因此，api测试是非常必要且需要重视的一个软件开发流程阶段。当api测试足够充分并且结果表明被测api正确无误时，使用这些api构建的应用程序或者程序功能才有基础的质量和安全保障。
从最初的软件开发瀑布模型（waterfall model）到时下流行的敏捷开发（agile development）和devops，软件开发周期不断缩短，使得如何高效保障应用程序的质量和安全受到更多的关注，也就催生了自动化测试（automated testing）。api测试也顺势进入自动化时代。从通用自动化api测试技术（如单元测试、模糊测试）到特定编程语言的测试框架（如pytest[9]、junit[10]），从传统的应用程序编程库（library）api测试到web场景下的restful api测试，自动化api测试技术得到广泛发展。
03
自动化api测试对象
自动化api测试的对象目前主要分为两种：函数级api（function-level api）和restful api。前者是传统的程序编程库（或者称为第三方库）或者系统库中为开发者提供的api接口，需要开发者在软件代码中实际调用才能够发挥作用。后者则是在web和云场景下广泛使用的具有rest规范的api，一般以客户端向服务器发起http请求的形式呈现。对两者进行自动化测试在形式上相同，都需要测试人员编写特定的测试驱动进行api调用来完成测试，测试的重要内容也都是检查api调用的执行结果是否符合预期以及api执行过程中是否出现错误。而不同之处在于，函数级api通常运行在本地环境，而restful api运行在云端环境，api的调用形式不同，整体的交互环境和测试框架也有所差异。
3.1 函数级 api
函数级api（function-level api）主要是指库api和系统调用。一般软件开发过程中，开发人员编写的单个函数或者软件模块中暴露的api接口也属于函数级api范畴。对于这一类api的自动化测试主要通过由开发人员编写的或者自动生成的测试驱动（test driver）完成。
库api指的是sdk（software development kit）、标准库（standard libraries）和第三方库（third-party libraries）开放给软件开发人员调用的函数，如android sdk和python官方标准库中的api。库api通常是构建整个应用程序的基础，软件提供给用户的各种高级功能都将通过调用已有api或者组合已有api的方式实现，因此库api的正确性和安全性不言而喻。
系统调用（syscall）指的是操作系统中提供给开发人员进行用户空间和系统内核进行交互的接口，用于访问底层的操作系统功能，如linux中的open、malloc和fork。
3.2 restful api
restful api通过直观简短的统一资源标识符（uri）定义资源，通过json、xml等文件格式进行数据传输。restful api使用基于http动词的语义的操作来操作这些资源，例如get、post、delete和put。在处理http请求期间，api可能需要从数据库读取/写入数据，并与其他web服务通信。测试restful api不仅需要为不同的端点编写http消息，还需要选择正确的查询参数，以及正文有效载荷消息。
本文系统介绍了应用程序编程接口（api）的概念及其在软件开发中的作用与重要性，重点分享自动化api测试的发展历程与测试对象。后续，在基于应用程序编程接口（api）的自动化测试（下）中，笔者将深入剖析单元测试、模糊测试等当前主流的自动化api测试形式与技术。
参考文献：
[1] vaggelis atlidakis, patrice godefroid, and marina polishchuk. 2019. restler: stateful rest api fuzzing. in 2019 ieee/acm 41st international conference on software engineering (icse), 748–758.
[2] domagoj babić, stefan bucur, yaohui chen, franjo ivančić, tim king, markus kusano, caroline lemieux, lászló szekeres, and wei wang. 2019. fudge: fuzz driver generation at scale. in proceedings of the 2019 27th acm joint meeting on european software engineering conference and symposium on the foundations of software engineering (esec/fse 2019), association for computing machinery, new york, ny, usa, 975–985.
[3] sujit kumar chakrabarti and prashant kumar. 2009. test-the-rest: an approach to testing restful web-services. in 2009 computation world: future computing, service computation, cognitive, adaptive, content, patterns, 302–308
[4] harrison green and thanassis avgerinos. 2022. graphfuzz: library api fuzzing with lifetime-aware dataflow graphs. in 2022 ieee/acm 44th international conference on software engineering (icse), 1070–1081
[5] kyriakos ispoglou, daniel austin, vishwath mohan, and mathias payer. 2020. {fuzzgen}: automatic fuzzer generation. 2271–2287. retrieved july 5, 2023
[6] carlos pacheco, shuvendu k. lahiri, michael d. ernst, and thomas ball. 2007. feedback-directed random test generation. in 29th international conference on software engineering (icse’07), ieee, minneapolis, mn, usa, 75–84.
[7] 2023. api. wikipedia. retrieved august 16, 2023
[8] 2023. evomaster: a tool for automatically generating system-level test cases. retrieved august 16, 2023
[9] pytest: helps you write better programs — pytest documentation. retrieved august 16, 2023
[10] junit 5. retrieved august 16, 2023
[11] libfuzzer – a library for coverage-guided fuzz testing. — llvm 18.0.0git documentation. retrieved august 16, 2023
早下手早享受：818发烧节，细数那些值得入的全画幅单反
下一代欺骗技术——早期威胁检测
不论是不是力帆，选择代工才是车和家的当务之急
数字电源时序器的内部结构与数字电源时序器的常见故障
为什么工业互联网如此之热？
基于应用程序编程接口（API）的自动化测试（上）
滤波器的详细分类
无人值守变电站综合监控系统的作用、组成及电力加密网关的特点
家庭音响+互联网，玩起新创意
迪拜为了推动环保事业 电动车充电两年不收费
南京联通推出EasyMacro 2.0解决方案成功解决了高层住宅网络覆盖的问题
上海盈方微电子获CEVA-TeakLite-4 音频/语音 DSP内核授权许可
创基Type-C扩展坞让小接口扩出用户拥有的希望
五分钟看完戴姆勒精灵Smart C-NCAP碰撞测试全过程
扬尘噪声在线监测系统的功能作用及如何选择
Silicon Labs推出业界首款高速多通道PLC输入隔离器
华数机器人面向3C行业推出2021全新升级款装配机器人HSR-JR607
为什么在质量控制中需要机器人？
抑制PCB干扰,怎么在源头上把EMI减到最小
联想Z6正式发布 首次搭载骁龙730处理器