RNN在FPGA的应用及测试分析
循环神经网络（rnns）具有保留记忆和学习数据序列的能力。由于rnn的循环性质，难以将其所有计算在传统硬件上实现并行化。当前cpu不具有大规模并行性，而由于rnn模型的顺序组件，gpu只能提供有限的并行性。针对这个问题，普渡大学的研究人员提出了一种lstm在zynq 7020 fpga的硬件实现方案，该方案在fpga中实现了2层128个隐藏单元的rnn，并且使用字符级语言模型进行了测试。该实现比嵌入在zynq 7020 fpga上的arm cortex-a9 cpu快了21倍。
lstm是一种特殊的rnn，由于独特的设计结构，lstm适合于处理和预测时间序列中间隔和延迟非常长的重要事件。标准的rnn可以保留和使用最近的过去信息，但是不能学习长期的依赖关系。并且由于存在梯度消失和爆炸的问题，传统的rnn无法训练较长的序列。为了解决上述问题，lstm添加了记忆控制单元来决定何时记住、遗忘和输出。lstm的单元结构如图1所示。其中⊙代表element-wise的乘法。
图1
用数学表达式表示图1如图2所示。其中表示sigmoid函数，是层的输入向量，是模型参数，是记忆单元激活值，是候选记忆单元门，是层的输出向量。下标表示前一时刻，就是相应的输入、遗忘和输出门。这些门决定何时记住或遗忘一个输入序列，以及何时输出。人们需要对模型进行训练，从而得到所需的输出参数。简单来说，模型训练是一个迭代过程，其中训练数据被输入，然后将得到的输出与目标进行比较。模型通过bp算法进行训练。由于添加了更多的层和更多的不同的功能，模型可以变得相当复杂。 对于lstm，每个模块有四个门和一些element-wise的操作。 深层lstm网络具有多个lstm模块级联，使得一层的输出是下一层的输入。
图2
了解完了lstm的特性后，如何设计lstm在fpga上的实现呢？下面我们来看一下实现方案。
1）硬件
硬件实现的主要操作就是矩阵向量乘法和非线性函数。
矩阵向量乘法由mac单元计算， mac单元需要两个流：输入向量流和加权矩阵的行向量流。将相同的矢量流与每个权重矩阵行相乘并累加，以产生与权重矩阵的高相同尺寸的输出向量。在计算每个输出元素之后，mac被重置以避免累积先前的矩阵行计算。可以通过向权重矩阵的最后一列添加偏置向量来将偏置b添加到乘法累加中，同时为输入向量增加一个额外的单位值。这样就不需要为偏置添加额外的输入端口，也可以向mac单元添加额外的预配置步骤。 将mac单元的结果加在一起。加法器的输出是一个元素的非线性函数，它是用线性映射来实现的。
非线性函数被分割成线性y = ax + b，其中x限于特定范围。在配置阶段，a，b和x范围的值存储在配置寄存器中。每个线性函数段用mac单元和比较器实现。输入值与线性范围之间的比较决定是处理输入还是将其传递给下一个线性函数段模块。非线性函数分为13个线段，因此非线性模块包含13个流水线段模块。 实施设计的主要组成部分是如图3所示的门模块。
图3
实现模块使用直接存储访问（dma）端口来进行数据的读入或写出。由于dma端口是独立的，因此即使模块同时激活端口，输入流也不会同步。因此，需要流同步模块。该同步块用来缓存一些流数据，直到所有端口都是流式传输。当最后一个端口开始传输时，同步块开始输出同步流。这样就能确保到mac单元的向量和矩阵行元素对齐。另外，图3中的门模块还包含一个将32位值转换为16位值的重分区块。mac单元执行16位乘法，产生32位值。然后使用32位值执行加法以保持精度。
图2中的公式1,2,3,4都能用上述模块实现，剩下的只是计算公式5和6的一些element-wise的运算。为此，方案引入了如图4所示的包含额外的乘法器和加法器的模块。
图4
最终形成的实现lstm的方案如图5所示。该方案使用图3中的三个模块和图4中的一个。门被预配置为具有非线性函数（tanh或s形）。内部模块由状态机控制以执行一系列操作。实现的设计使用四个32位dma端口。由于操作以16位完成，每个dma端口可以传输两个16位流。权重和连接在主存储器中以利用该特征。然后根据要执行的操作将流路由到不同的模块。
图5
2）驱动软件
控制和测试软件用c代码实现。该软件将权重值和输入向量放入主存储器，并使用一组配置寄存器控制硬件模块。权重矩阵的每行结尾是相应的偏置值。输入向量包含一个额外的单位值，使得矩阵向量乘法仅添加矩阵行的最后一个元素。零填充用于匹配矩阵行尺寸和向量尺寸，这使流同步更容易。
由于lstm的循环性质，每次循环c和h都被覆盖。这样做可以最大限度地减少cpu完成的内存复制次数。为了实现多层lstm，将上一层的输出复制到下一层的位置，以便在层之间保留以进行错误度量。此外，控制软件还需要通过在控制寄存器中设置不同的存储位置来更改不同层的权重。
实验和实验结果
实验实现了一个字符级语言模型，它预测了给定前一个字符的下一个字符。根据字符，模型生成一个看起来像训练数据集的文本，它可以是一本书或大于2 mb字的大型互联网语料库。本实验选取莎士比亚的一部分作品进行了训练。实验实现了一个隐藏层大小为128的2层lstm模型。
该方案在包含zynq-7000 soc xc7z020的zedboard上实现。它包含双arm cortex-a9 mpcore，该实验采用的c代码lstm的实现在zedboard的双arm cortex-a9处理器上运行，时钟频率为667 mhz。在fpga上的实现运行的时钟频率为142 mhz的。芯片总功率为1.942 w，硬件利用率如表1所示。
表1
图6展示了不同嵌入式平台上的前馈lstm字符级语言模型的执行时间，时间越越好。我们看到，即使是在142mhz的时钟频率下，该实现依然比嵌入在zynq 7020 fpga上的arm cortex-a9 cpu的实现快了21倍。
图6
图7展示了不同嵌入式平台的单位功耗性能（值越大表示性能越好）。从图中结果可以看出，fpga的实现单位功耗性能远超其他平台，这进一步说明了fpga实现的优越性。
图7
引用：
recurrent neural networks hardware implementation on fpga, andre xian ming chang, berin martini, eugenio culurciello
英特尔推出体积极小并可支持虚拟实境的NUC
罗德与施瓦茨发布新一代微波测量接收机FSMR3000
H桥电路的原理和应用
无刷电机小车开发记录—移植SimpleFOC流程
半导体划片刀原理、特点以及刀片磨损原因等知识分享！
RNN在FPGA的应用及测试分析
协作机器人为个人防护设备生产提速、创造新的就业机会
检测PCB的9个常识及方法
华米手表遇上小米手表，本是同根生，相煎何太急？
有机纳米聚合物为塑料电子提供新方案
针对高精密电子领域而推出的耐高温小型轻触开关
IHS分析师JimmyKim：OLED电视制造需要8代线以上生产线
发展数字经济，释放电力大数据新活力
SSD扛鼎新型数据中心
一部在发布之前就备受瞩目的手机,它到底符不符合我们的期待呢？
苹果14上市时间已定 苹果14手机图片及价格
跨屏翻译成焦点，讯飞双屏翻译机亮相第五届世界智能大会
联想拯救者即将推出搭载骁龙888电竞手机
分享能量采集技术和应用
如何把握人工智能的优势，提高市场竞争力
lstm是一种特殊的rnn，由于独特的设计结构，lstm适合于处理和预测时间序列中间隔和延迟非常长的重要事件。标准的rnn可以保留和使用最近的过去信息，但是不能学习长期的依赖关系。并且由于存在梯度消失和爆炸的问题，传统的rnn无法训练较长的序列。为了解决上述问题，lstm添加了记忆控制单元来决定何时记住、遗忘和输出。lstm的单元结构如图1所示。其中⊙代表element-wise的乘法。
图1
用数学表达式表示图1如图2所示。其中表示sigmoid函数，是层的输入向量，是模型参数，是记忆单元激活值，是候选记忆单元门，是层的输出向量。下标表示前一时刻，就是相应的输入、遗忘和输出门。这些门决定何时记住或遗忘一个输入序列，以及何时输出。人们需要对模型进行训练，从而得到所需的输出参数。简单来说，模型训练是一个迭代过程，其中训练数据被输入，然后将得到的输出与目标进行比较。模型通过bp算法进行训练。由于添加了更多的层和更多的不同的功能，模型可以变得相当复杂。 对于lstm，每个模块有四个门和一些element-wise的操作。 深层lstm网络具有多个lstm模块级联，使得一层的输出是下一层的输入。
图2
了解完了lstm的特性后，如何设计lstm在fpga上的实现呢？下面我们来看一下实现方案。
1）硬件
硬件实现的主要操作就是矩阵向量乘法和非线性函数。
矩阵向量乘法由mac单元计算， mac单元需要两个流：输入向量流和加权矩阵的行向量流。将相同的矢量流与每个权重矩阵行相乘并累加，以产生与权重矩阵的高相同尺寸的输出向量。在计算每个输出元素之后，mac被重置以避免累积先前的矩阵行计算。可以通过向权重矩阵的最后一列添加偏置向量来将偏置b添加到乘法累加中，同时为输入向量增加一个额外的单位值。这样就不需要为偏置添加额外的输入端口，也可以向mac单元添加额外的预配置步骤。 将mac单元的结果加在一起。加法器的输出是一个元素的非线性函数，它是用线性映射来实现的。
非线性函数被分割成线性y = ax + b，其中x限于特定范围。在配置阶段，a，b和x范围的值存储在配置寄存器中。每个线性函数段用mac单元和比较器实现。输入值与线性范围之间的比较决定是处理输入还是将其传递给下一个线性函数段模块。非线性函数分为13个线段，因此非线性模块包含13个流水线段模块。 实施设计的主要组成部分是如图3所示的门模块。
图3
实现模块使用直接存储访问（dma）端口来进行数据的读入或写出。由于dma端口是独立的，因此即使模块同时激活端口，输入流也不会同步。因此，需要流同步模块。该同步块用来缓存一些流数据，直到所有端口都是流式传输。当最后一个端口开始传输时，同步块开始输出同步流。这样就能确保到mac单元的向量和矩阵行元素对齐。另外，图3中的门模块还包含一个将32位值转换为16位值的重分区块。mac单元执行16位乘法，产生32位值。然后使用32位值执行加法以保持精度。
图2中的公式1,2,3,4都能用上述模块实现，剩下的只是计算公式5和6的一些element-wise的运算。为此，方案引入了如图4所示的包含额外的乘法器和加法器的模块。
图4
最终形成的实现lstm的方案如图5所示。该方案使用图3中的三个模块和图4中的一个。门被预配置为具有非线性函数（tanh或s形）。内部模块由状态机控制以执行一系列操作。实现的设计使用四个32位dma端口。由于操作以16位完成，每个dma端口可以传输两个16位流。权重和连接在主存储器中以利用该特征。然后根据要执行的操作将流路由到不同的模块。
图5
2）驱动软件
控制和测试软件用c代码实现。该软件将权重值和输入向量放入主存储器，并使用一组配置寄存器控制硬件模块。权重矩阵的每行结尾是相应的偏置值。输入向量包含一个额外的单位值，使得矩阵向量乘法仅添加矩阵行的最后一个元素。零填充用于匹配矩阵行尺寸和向量尺寸，这使流同步更容易。
由于lstm的循环性质，每次循环c和h都被覆盖。这样做可以最大限度地减少cpu完成的内存复制次数。为了实现多层lstm，将上一层的输出复制到下一层的位置，以便在层之间保留以进行错误度量。此外，控制软件还需要通过在控制寄存器中设置不同的存储位置来更改不同层的权重。
实验和实验结果
实验实现了一个字符级语言模型，它预测了给定前一个字符的下一个字符。根据字符，模型生成一个看起来像训练数据集的文本，它可以是一本书或大于2 mb字的大型互联网语料库。本实验选取莎士比亚的一部分作品进行了训练。实验实现了一个隐藏层大小为128的2层lstm模型。
该方案在包含zynq-7000 soc xc7z020的zedboard上实现。它包含双arm cortex-a9 mpcore，该实验采用的c代码lstm的实现在zedboard的双arm cortex-a9处理器上运行，时钟频率为667 mhz。在fpga上的实现运行的时钟频率为142 mhz的。芯片总功率为1.942 w，硬件利用率如表1所示。
表1
图6展示了不同嵌入式平台上的前馈lstm字符级语言模型的执行时间，时间越越好。我们看到，即使是在142mhz的时钟频率下，该实现依然比嵌入在zynq 7020 fpga上的arm cortex-a9 cpu的实现快了21倍。
图6
图7展示了不同嵌入式平台的单位功耗性能（值越大表示性能越好）。从图中结果可以看出，fpga的实现单位功耗性能远超其他平台，这进一步说明了fpga实现的优越性。
图7
引用：
recurrent neural networks hardware implementation on fpga, andre xian ming chang, berin martini, eugenio culurciello
英特尔推出体积极小并可支持虚拟实境的NUC
罗德与施瓦茨发布新一代微波测量接收机FSMR3000
H桥电路的原理和应用
无刷电机小车开发记录—移植SimpleFOC流程
半导体划片刀原理、特点以及刀片磨损原因等知识分享！
RNN在FPGA的应用及测试分析
协作机器人为个人防护设备生产提速、创造新的就业机会
检测PCB的9个常识及方法
华米手表遇上小米手表，本是同根生，相煎何太急？
有机纳米聚合物为塑料电子提供新方案
针对高精密电子领域而推出的耐高温小型轻触开关
IHS分析师JimmyKim：OLED电视制造需要8代线以上生产线
发展数字经济，释放电力大数据新活力
SSD扛鼎新型数据中心
一部在发布之前就备受瞩目的手机,它到底符不符合我们的期待呢？
苹果14上市时间已定 苹果14手机图片及价格
跨屏翻译成焦点，讯飞双屏翻译机亮相第五届世界智能大会
联想拯救者即将推出搭载骁龙888电竞手机
分享能量采集技术和应用
如何把握人工智能的优势，提高市场竞争力