报文解析规则定义 流水线划分提取方案
编 者 按
之前看一篇论文《a fast approach for generating efficient parsers on fpgas》，里面主要讲的是如何将p4的报文解析通过流水线技术映射到fpga上实现。我本身不研究p4，但这篇文章里面所提到的在构造报文解析流水线部分倒颇有意思，故作总结，感兴趣的小伙伴可以去翻看原文。
报文解析规则定义
这里采用原文中定义的报文头规则定义：
这里面定义了七种报文头规则(编号为a～g)：
a:ethernet—>mpls—>mpls—>eompls—>ethernet
b:ethernet—>ipv4
c:ethernet—>ipv6
d:ethernet—>mpls—>ipv4
e:ethernet—>mpls—>mpls—>ipv4
f:ethernet—>mpls—>ipv6
g:ethernet—>mpls—>mpls—>ipv6
流水线设计所需要尽可能的避免stall，在真实的业务里，可能面临的是远比这些更复杂的协议。这里我们可以定义。
流水线划分提取
在网络报文解析里，只有当前一层报文头解析完后才能解析下一层报文规则，故而在流水线设计里，每一级流水线一般只解析一层报文头。以上面的流水线为例，首先找出最长路径:
这里同时为各个报文头子规则进行编号。可以看到，最长规则包含了五个报文头规则，也就意味着流水线最长级数为5级。
接下来就是处理没有在最长路径上的节点。以ipv6为例。这里从(1)、(2)、(3)均有可能跳转至ipv6(7)。取其离根节(1)点最远的父节点并挂载在其下面，删除其他对应的跳转关系：
最终ipv6节点被放置在eompls同一级节点处。处于流水线的第四级。这时针对ipv6报文头的解析，将被放置在流水线第四级进行处理：
ethernet—>ipv6：第一级流水解析ethernet，第二三级不做处理，第四级解析ipv6。
ethernet—>mpls—>ipv6：第一级解析ethernet，第二级解析mpls，第三级不做处理，第四级解析ipv6。
ethernet—>mpls—>mpls—>ipv6：第一级解析ethernet，第二级解析mpls，第三级解析mpls，第四级解析ipv6。 同样，按照相同的规则，我们可以来处理ipv4报文头：
至此，整个流水线设计调度完成。流水线共分为五级。
针对上面的七种报文规则，我们可以一次编号为
在流水线设计中，每一级报文解析完成后携带当前已成功解析的标志头headertype以及ethtype。这里的流水线主要在于第四级的设计，其他级都较为简单，为单一的匹配。在第四级里，定义了7种可能的组合：
headertype=1，流水匹配中ipv4(6)，则headertype=6，报文命中规则b
headertype=2，流水匹配中ipv4(6)，则headertype=6，报文命中规则d
headertype=3，流水匹配中ipv4(6)，则headertype=6，报文命中规则e
headertype=1，流水匹配中ipv6(7)，则headertype=7，报文命中规则c
headertype=2，流水匹配中ipv6(7)，则headertype=7，报文命中规则f
headertype=3，流水匹配中ipv6(7)，则headertype=7，报文命中规则g
headertype=3，流水匹配中eompls(4)，则headertype=4，可能命中报文命中规则a(到第五级进一步判断)。
如此，经过五级流水线处理，我们可以判断出在报文是否命中定义的规则。
个人思考
论文中这种流水线的设计思想确实值得借鉴。然而真实的业务模型里面的报文规则远远比上面的复杂许多，所造成的流水线级数势必会更深更长。且考虑到报文头不定长度的存在，在每一级流水里都不可避免的出现数据位移。这种不定长度的数据位移在fpga里面像现在普遍的512比特位宽情况下还是很消耗资源的(部分级流水可能只需要常数移位)。
作者的初衷在于建立p4到fpga的通用映射，然而这里面所设计的带宽可能是远大于真实业务设计所需求的带宽的。如果想精简资源个人倒觉得可以借鉴这种报文解析调度方式采用状态机的形式来进行处理，毕竟在真实的业务场景里还是很少出现每拍处理一个报文头的场景。可以根据不同报文规则的长度，需要的带宽以及状态机的最大跳转次数(对应这里的流水线级数)放置相应数量的状态机个数，并通过rr调度保序输出来确保真实需要带宽。
TensorFlow有可能成为Google在AI时代的新安卓系统吗
ATMega16单片机外部中断程序分享
基于PLC的锅炉燃烧控制系统
带你一分钟了解展锐官方线上平台坦克邦
智慧公安情报研判系统开发人脸识别系统开发
报文解析规则定义 流水线划分提取方案
薄如纸片的电子触感皮肤让未来触屏无处不在
锂电池组能给哪些行业提供能源？
2020智能机器人产业峰会日前正式召开
SCSI硬盘的抗震指数/闲置噪音
非直接烧录ST对GD的代码移植
了解最新升级手持式频谱仪版本！
深耕电站主动安全，华为获颁全球首个智能组串关断SSLD技术认证
解析移动电源的三大核心技术
关于轻触开关在生活中的各个方面的应用
Windows 10 21H2新特性前瞻
采购d-sub连接器的方法和技巧
瞄准物联网新蓝海，翱捷科技Wi-Fi 6芯片ASR595X系列蓄势待发
安防监控防雷+防雷工程综合应用解决方案
航嘉WD500K评测 外表做工手感及内部PCB结构用料都没问题
之前看一篇论文《a fast approach for generating efficient parsers on fpgas》，里面主要讲的是如何将p4的报文解析通过流水线技术映射到fpga上实现。我本身不研究p4，但这篇文章里面所提到的在构造报文解析流水线部分倒颇有意思，故作总结，感兴趣的小伙伴可以去翻看原文。
报文解析规则定义
这里采用原文中定义的报文头规则定义：
这里面定义了七种报文头规则(编号为a～g)：
a:ethernet—>mpls—>mpls—>eompls—>ethernet
b:ethernet—>ipv4
c:ethernet—>ipv6
d:ethernet—>mpls—>ipv4
e:ethernet—>mpls—>mpls—>ipv4
f:ethernet—>mpls—>ipv6
g:ethernet—>mpls—>mpls—>ipv6
流水线设计所需要尽可能的避免stall，在真实的业务里，可能面临的是远比这些更复杂的协议。这里我们可以定义。
流水线划分提取
在网络报文解析里，只有当前一层报文头解析完后才能解析下一层报文规则，故而在流水线设计里，每一级流水线一般只解析一层报文头。以上面的流水线为例，首先找出最长路径:
这里同时为各个报文头子规则进行编号。可以看到，最长规则包含了五个报文头规则，也就意味着流水线最长级数为5级。
接下来就是处理没有在最长路径上的节点。以ipv6为例。这里从(1)、(2)、(3)均有可能跳转至ipv6(7)。取其离根节(1)点最远的父节点并挂载在其下面，删除其他对应的跳转关系：
最终ipv6节点被放置在eompls同一级节点处。处于流水线的第四级。这时针对ipv6报文头的解析，将被放置在流水线第四级进行处理：
ethernet—>ipv6：第一级流水解析ethernet，第二三级不做处理，第四级解析ipv6。
ethernet—>mpls—>ipv6：第一级解析ethernet，第二级解析mpls，第三级不做处理，第四级解析ipv6。
ethernet—>mpls—>mpls—>ipv6：第一级解析ethernet，第二级解析mpls，第三级解析mpls，第四级解析ipv6。 同样，按照相同的规则，我们可以来处理ipv4报文头：
至此，整个流水线设计调度完成。流水线共分为五级。
针对上面的七种报文规则，我们可以一次编号为
在流水线设计中，每一级报文解析完成后携带当前已成功解析的标志头headertype以及ethtype。这里的流水线主要在于第四级的设计，其他级都较为简单，为单一的匹配。在第四级里，定义了7种可能的组合：
headertype=1，流水匹配中ipv4(6)，则headertype=6，报文命中规则b
headertype=2，流水匹配中ipv4(6)，则headertype=6，报文命中规则d
headertype=3，流水匹配中ipv4(6)，则headertype=6，报文命中规则e
headertype=1，流水匹配中ipv6(7)，则headertype=7，报文命中规则c
headertype=2，流水匹配中ipv6(7)，则headertype=7，报文命中规则f
headertype=3，流水匹配中ipv6(7)，则headertype=7，报文命中规则g
headertype=3，流水匹配中eompls(4)，则headertype=4，可能命中报文命中规则a(到第五级进一步判断)。
如此，经过五级流水线处理，我们可以判断出在报文是否命中定义的规则。
个人思考
论文中这种流水线的设计思想确实值得借鉴。然而真实的业务模型里面的报文规则远远比上面的复杂许多，所造成的流水线级数势必会更深更长。且考虑到报文头不定长度的存在，在每一级流水里都不可避免的出现数据位移。这种不定长度的数据位移在fpga里面像现在普遍的512比特位宽情况下还是很消耗资源的(部分级流水可能只需要常数移位)。
作者的初衷在于建立p4到fpga的通用映射，然而这里面所设计的带宽可能是远大于真实业务设计所需求的带宽的。如果想精简资源个人倒觉得可以借鉴这种报文解析调度方式采用状态机的形式来进行处理，毕竟在真实的业务场景里还是很少出现每拍处理一个报文头的场景。可以根据不同报文规则的长度，需要的带宽以及状态机的最大跳转次数(对应这里的流水线级数)放置相应数量的状态机个数，并通过rr调度保序输出来确保真实需要带宽。
TensorFlow有可能成为Google在AI时代的新安卓系统吗
ATMega16单片机外部中断程序分享
基于PLC的锅炉燃烧控制系统
带你一分钟了解展锐官方线上平台坦克邦
智慧公安情报研判系统开发人脸识别系统开发
报文解析规则定义 流水线划分提取方案
薄如纸片的电子触感皮肤让未来触屏无处不在
锂电池组能给哪些行业提供能源？
2020智能机器人产业峰会日前正式召开
SCSI硬盘的抗震指数/闲置噪音
非直接烧录ST对GD的代码移植
了解最新升级手持式频谱仪版本！
深耕电站主动安全，华为获颁全球首个智能组串关断SSLD技术认证
解析移动电源的三大核心技术
关于轻触开关在生活中的各个方面的应用
Windows 10 21H2新特性前瞻
采购d-sub连接器的方法和技巧
瞄准物联网新蓝海，翱捷科技Wi-Fi 6芯片ASR595X系列蓄势待发
安防监控防雷+防雷工程综合应用解决方案
航嘉WD500K评测 外表做工手感及内部PCB结构用料都没问题