如何用eBPF优化内存存储功能
1.背景
随着存储设备的升级与发展，当代的存储设备性能越来越高，延迟也越来越低。对于内核而言，linux i/o 存储栈的软件所带来的性能开销已经越来越不可忽视。同样在 512b 的随机读条件下，在采用二代 optane ssd 作为存储设备的测试例⼦中，内核软件（ linux 存储栈）所带来的性能开销已经⾼达 50%。
2.传统方式与xrp
我们来看⼀个实际的例⼦，假设现在有⼀棵树⾼为 4 的 b+ tree 存储于存储设备当中。当我们从根节点出发，⼀共需要经过三次访盘才能获得最终的叶⼦节点，⽽中间的索引节点对于⽤户⽽⾔没有意义，但也需要经过⼀个完整的存储栈路径。⽽每次访盘的过程中，存储栈所花费的开销就要整个存储路径的 48.6%。
显然，冗⻓的存储栈路径钳制了⾼性能存储设备的发挥，那么⼀个直观的优化思路便是通过 kernel bypass 的⽅式，绕开内核中存储栈，以提升存储性能。⽬前在学术界中，对于这⽅⾯的⼯作有 demikernel、shenango、snap 等，⽽⼯业界中最为⼴泛使⽤的则是 intel 的 spdk。
然⽽，kernel bypass 技术并⾮银弹，它虽然能够降低内核存储栈的开销，但也存在着如下缺点：
1. 没有适当粒度的访问控制
2. 需要采⽤ polling ⽅式来判断 i/o 是否完成，这会导致在 i/o 利⽤率低时，polling 进程所在的 cpu ⼤部分情况下只是在空转，浪费 cpu 周期，同时 cpu 资源不能⾼效地在多进程中共享。
所谓 xrp 的全称是 express resubmission path(快速重提交路径)。与 spdk 完全绕开内核存储栈，采⽤ polling的⽅式来访问存储的⽅式不同，xrp 则是通过将中间请求直接在 nvme 驱动层进⾏ resubmission，从⽽避免让中间请求通过冗⻓的存储栈后再提交，从⽽达到加速的⽬的。反映到上⾯的例⼦当中，可以明显地看到使⽤ xrp 存储访问⽅式中，只有第⼀次请求和最后⼀次响应会经过⼀个完整的存储栈路径。显然，在允许范围内，b+ tree的树⾼越⾼，xrp 的加速效果也就越明显。
既然优化思路有了，那么应当如何才能将请求重提交于 nvme 驱动层呢？这⾥可以借鉴 xdp 的实现思路。xdp 通过 ebpf 来实现对每个数据包进⾏独⽴的操作(数据包过滤、数据包转发、数据包追踪、⽹络调度)。xrp 也可以通过 bpf 程序来实现。
xrp 是⾸个使⽤ ebpf 来降低内核存储软件开销的系统。它所⾯临的挑战主要有：
1. 如何在 nvme 驱动层实现对⽂件偏移的翻译
2. 如何强化 ebpf verifier 以⽀持存储应⽤场景
3. 如何重新提交 nvme 请求
4. 如何与应⽤层 cache 进⾏交互
xrp 引⼊了⼀种新的 bpf 类型(bpf_prog_type_xrp)，包含了 5 个字段，分别是
1. char* data：⼀个缓冲区，⽤于缓冲从磁盘中读取出来的数据
2. int done：布尔语意，表示 resubmission 逻辑是否应当返回给 user，还是应当继续 resubmitting i/o 请求
3. uint64_t next_addr[16]：逻辑地址数组，存放的是下次 resubmission 的逻辑地址
4. uint64_t size[16]：存放的是下次 resubmission 的请求的⼤⼩5. char* scratch：user 和 bpf 函数的私有空间，⽤来传递从 user 到 bpf 函数的参数。bpf 函数也可以⽤这段
空间来保存中间数据。处于简单考虑，默认 scratch 的⼤⼩是 4kb。
同时，为了避免因存在⽆限循环⽽导致 bpf verifier 验证失败，代码中指定了 b+ tree 的最⼤扇出数为
max_fanout，其值为 16。
⽬前，最常⻅链式读请求主要有 b-tree 和 lsm tree 两种，⽽ xrp 分别继承了 bpf-kv（⼀个简易的基于 b+ tree的键值存储引擎） 和 wiredtiger（mongodb 的后端键值存储引擎）。
3.实验测试
上图为在 512b 随机读测试中，标准 read 和 xrp 之间的性能对⽐测试。可以看到随着线程数的增加，xrp 的吞吐保持线性增⻓的态势，同时 xrp 通过降低每次 i/o 请求时的 cpu 开销，从⽽缓解了 cpu 争⽤问题。
上⾯两幅图中，同样表示了在 512b 随机读测试中（cpu 核⼼数为 6），标准 read、xrp 和 spdk 之间的吞吐量以及尾延迟的对⽐。在线程数⼩于等于 cpu 核⼼数时，三者性能变化稳定，从⾼到低依次为 spdk > xrp >read。⽽当线程数超过了核⼼数时，spdk 性能开始出现严重的下跌，标准 read 性能轻微下滑，⽽ xrp 依然保持着稳定的线性增⻓。这主要是因为 spdk 采⽤ polling 的⽅式访问存储设备的完成队列，当线程数超过核⼼数，线程之间对 cpu 的争夺加上缺乏同步性，会导致所有线程都经历尾部延迟显著提升和整体吞吐量的显著下降。
4.总结
xrp 是⾸个将 bpf 应⽤来通⽤存储函数的加速上的系统，它既能享受到 kernel bypass 的性能优势，同时⼜⽆须牺牲 cpu 的使⽤率和访问控制。⽬前，xrp 团队依然在积极地将 xrp 与其他⼀些流⾏的键值存储引擎，如 rocksdb进⾏集成。
三星Galaxy S21 Ultra性能配置曝光
各种类型变速箱油的区别与选择
欧盟充电接口CE新规今年12月实施，无线音频产品如何应对
如何通过雅特力AT32WB415的蓝牙模块来进行OTA升级
传台积电再度下修美元营收：衰退10%
如何用eBPF优化内存存储功能
HTC10跑分评测 被完爆
看门狗的启动与配置
透射电镜的主要性能参数及测定
电磁学的重要性 电磁波的主要参数
NAND Flash SLC MLC技术分析
大疆MAVIC PRO亮相：首部折叠无人机 体积虽小功能强大
为什么卷积神经网络可以做到不变性特征提取？
本田因半导体供应紧张,将调整汽车生产
何为智能显示器，智能家居高科技下的产物
爱立信携手谷歌成功展示灵活性更高的网络切片技术
大运存，小内存，360N5为何如此“与众不同”？
手机消毒器能在短时间内对手机进行全面的消毒杀菌处理
比小米6更惊艳！小米6Plus配置曝光：全面屏设计惊艳
知行科技L2级自动驾驶控制器的智能前视摄像头成为主机厂的量产定点
随着存储设备的升级与发展，当代的存储设备性能越来越高，延迟也越来越低。对于内核而言，linux i/o 存储栈的软件所带来的性能开销已经越来越不可忽视。同样在 512b 的随机读条件下，在采用二代 optane ssd 作为存储设备的测试例⼦中，内核软件（ linux 存储栈）所带来的性能开销已经⾼达 50%。
2.传统方式与xrp
我们来看⼀个实际的例⼦，假设现在有⼀棵树⾼为 4 的 b+ tree 存储于存储设备当中。当我们从根节点出发，⼀共需要经过三次访盘才能获得最终的叶⼦节点，⽽中间的索引节点对于⽤户⽽⾔没有意义，但也需要经过⼀个完整的存储栈路径。⽽每次访盘的过程中，存储栈所花费的开销就要整个存储路径的 48.6%。
显然，冗⻓的存储栈路径钳制了⾼性能存储设备的发挥，那么⼀个直观的优化思路便是通过 kernel bypass 的⽅式，绕开内核中存储栈，以提升存储性能。⽬前在学术界中，对于这⽅⾯的⼯作有 demikernel、shenango、snap 等，⽽⼯业界中最为⼴泛使⽤的则是 intel 的 spdk。
然⽽，kernel bypass 技术并⾮银弹，它虽然能够降低内核存储栈的开销，但也存在着如下缺点：
1. 没有适当粒度的访问控制
2. 需要采⽤ polling ⽅式来判断 i/o 是否完成，这会导致在 i/o 利⽤率低时，polling 进程所在的 cpu ⼤部分情况下只是在空转，浪费 cpu 周期，同时 cpu 资源不能⾼效地在多进程中共享。
所谓 xrp 的全称是 express resubmission path(快速重提交路径)。与 spdk 完全绕开内核存储栈，采⽤ polling的⽅式来访问存储的⽅式不同，xrp 则是通过将中间请求直接在 nvme 驱动层进⾏ resubmission，从⽽避免让中间请求通过冗⻓的存储栈后再提交，从⽽达到加速的⽬的。反映到上⾯的例⼦当中，可以明显地看到使⽤ xrp 存储访问⽅式中，只有第⼀次请求和最后⼀次响应会经过⼀个完整的存储栈路径。显然，在允许范围内，b+ tree的树⾼越⾼，xrp 的加速效果也就越明显。
既然优化思路有了，那么应当如何才能将请求重提交于 nvme 驱动层呢？这⾥可以借鉴 xdp 的实现思路。xdp 通过 ebpf 来实现对每个数据包进⾏独⽴的操作(数据包过滤、数据包转发、数据包追踪、⽹络调度)。xrp 也可以通过 bpf 程序来实现。
xrp 是⾸个使⽤ ebpf 来降低内核存储软件开销的系统。它所⾯临的挑战主要有：
1. 如何在 nvme 驱动层实现对⽂件偏移的翻译
2. 如何强化 ebpf verifier 以⽀持存储应⽤场景
3. 如何重新提交 nvme 请求
4. 如何与应⽤层 cache 进⾏交互
xrp 引⼊了⼀种新的 bpf 类型(bpf_prog_type_xrp)，包含了 5 个字段，分别是
1. char* data：⼀个缓冲区，⽤于缓冲从磁盘中读取出来的数据
2. int done：布尔语意，表示 resubmission 逻辑是否应当返回给 user，还是应当继续 resubmitting i/o 请求
3. uint64_t next_addr[16]：逻辑地址数组，存放的是下次 resubmission 的逻辑地址
4. uint64_t size[16]：存放的是下次 resubmission 的请求的⼤⼩5. char* scratch：user 和 bpf 函数的私有空间，⽤来传递从 user 到 bpf 函数的参数。bpf 函数也可以⽤这段
空间来保存中间数据。处于简单考虑，默认 scratch 的⼤⼩是 4kb。
同时，为了避免因存在⽆限循环⽽导致 bpf verifier 验证失败，代码中指定了 b+ tree 的最⼤扇出数为
max_fanout，其值为 16。
⽬前，最常⻅链式读请求主要有 b-tree 和 lsm tree 两种，⽽ xrp 分别继承了 bpf-kv（⼀个简易的基于 b+ tree的键值存储引擎） 和 wiredtiger（mongodb 的后端键值存储引擎）。
3.实验测试
上图为在 512b 随机读测试中，标准 read 和 xrp 之间的性能对⽐测试。可以看到随着线程数的增加，xrp 的吞吐保持线性增⻓的态势，同时 xrp 通过降低每次 i/o 请求时的 cpu 开销，从⽽缓解了 cpu 争⽤问题。
上⾯两幅图中，同样表示了在 512b 随机读测试中（cpu 核⼼数为 6），标准 read、xrp 和 spdk 之间的吞吐量以及尾延迟的对⽐。在线程数⼩于等于 cpu 核⼼数时，三者性能变化稳定，从⾼到低依次为 spdk > xrp >read。⽽当线程数超过了核⼼数时，spdk 性能开始出现严重的下跌，标准 read 性能轻微下滑，⽽ xrp 依然保持着稳定的线性增⻓。这主要是因为 spdk 采⽤ polling 的⽅式访问存储设备的完成队列，当线程数超过核⼼数，线程之间对 cpu 的争夺加上缺乏同步性，会导致所有线程都经历尾部延迟显著提升和整体吞吐量的显著下降。
4.总结
xrp 是⾸个将 bpf 应⽤来通⽤存储函数的加速上的系统，它既能享受到 kernel bypass 的性能优势，同时⼜⽆须牺牲 cpu 的使⽤率和访问控制。⽬前，xrp 团队依然在积极地将 xrp 与其他⼀些流⾏的键值存储引擎，如 rocksdb进⾏集成。
三星Galaxy S21 Ultra性能配置曝光
各种类型变速箱油的区别与选择
欧盟充电接口CE新规今年12月实施，无线音频产品如何应对
如何通过雅特力AT32WB415的蓝牙模块来进行OTA升级
传台积电再度下修美元营收：衰退10%
如何用eBPF优化内存存储功能
HTC10跑分评测 被完爆
看门狗的启动与配置
透射电镜的主要性能参数及测定
电磁学的重要性 电磁波的主要参数
NAND Flash SLC MLC技术分析
大疆MAVIC PRO亮相：首部折叠无人机 体积虽小功能强大
为什么卷积神经网络可以做到不变性特征提取？
本田因半导体供应紧张,将调整汽车生产
何为智能显示器，智能家居高科技下的产物
爱立信携手谷歌成功展示灵活性更高的网络切片技术
大运存，小内存，360N5为何如此“与众不同”？
手机消毒器能在短时间内对手机进行全面的消毒杀菌处理
比小米6更惊艳！小米6Plus配置曝光：全面屏设计惊艳
知行科技L2级自动驾驶控制器的智能前视摄像头成为主机厂的量产定点