RNN以及LSTM
熟悉深度学习的朋友知道，lstm是一种rnn模型，可以方便地处理时间序列数据，在nlp等领域有广泛应用。
在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分rnn以及lstm，整个人醍醐灌顶。
0. 从rnn说起
循环神经网络（recurrent neural network，rnn）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，rnn就能够很好地解决这类问题。
1. 普通rnn
先简单介绍一下一般的rnn。其主要形式如下图所示（图片均来自台大李宏毅教授的ppt）：
这里：
为当前状态下数据的输入， 表示接收到的上一个节点的输入。
为当前节点状态下的输出， 而为传递到下一个节点的输出。
通过上图的公式可以看到，输出 h' 与 x 和 h 的值都相关。
而 y 则常常使用 h' 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。
对这里的y如何通过 h' 计算得到往往看具体模型的使用方式。
通过序列形式的输入，我们能够得到如下形式的rnn。
2. lstm
2.1 什么是lstm
长短期记忆（long short-term memory, lstm）是一种特殊的rnn，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的rnn，lstm能够在更长的序列中有更好的表现。
lstm结构（图右）和普通rnn的主要输入输出区别如下所示。
相比rnn只有一个传递状态 ，lstm有两个传输状态，一个 （cell state），和一个 （hidden state）。rnn中的 等价于lstm中的 。
其中对于传递下去的 改变得很慢，通常输出的 是上一个状态传过来的 加上一些数值。
而 则在不同节点下往往会有很大的区别。
2.2 深入lstm结构
下面具体对lstm的内部结构来进行剖析。
首先使用lstm的当前输入 和上一个状态传递下来的 拼接训练得到四个状态。
其中 ， ， 是由拼接向量乘以权重矩阵之后，再通过一个 sigmoid 激活函数转换成0到1之间的数值，来作为一种门控状态。而 则是将结果通过一个 tanh 激活函数将转换成-1到1之间的值（这里使用 tanh 是因为这里是将其做为输入数据，而不是门控信号）。
下面开始进一步介绍这四个状态在lstm内部的使用（敲黑板）
是hadamard product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。 则代表进行矩阵加法。
lstm内部主要有三个阶段：
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。
具体来说是通过计算得到的 （f表示forget）来作为忘记门控，来控制上一个状态的 哪些需要留哪些需要忘。
2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的 表示。而选择的门控信号则是由 （i代表information）来进行控制。
将上面两步得到的结果相加，即可得到传输给下一个状态的 。也就是上图中的第一个公式。
3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 来进行控制的。并且还对上一阶段得到的 进行了放缩（通过一个tanh激活函数进行变化）。
与普通rnn类似，输出 往往最终也是通过 变化得到。
3. 总结
以上，就是lstm的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的rnn那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说，尤其好用。
但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会使用效果和lstm相当但参数更少的gru来构建大训练量的模型。
A Filter Primer
OneClick.ai开发自动化人工智能平台，助力人工智能应用的普及
这些因素会影响指纹识别的体验
交流伺服电机为什么会被广泛使用和持续流行？
高通范博士分享职场干货 工程师修炼必经三阶段
RNN以及LSTM
CS5211高性价比替代PS8625|DP转LVDS方案
科学匠人 | 边江：在研究院的七年“技痒”，探寻大模型助力AI与产业融合之道
如何解决蜂鸣器声音小的问题
中兴通讯端到端绿色解决方案助力各行各业快速步入绿色发展通道
怎样用PIC16F676制作声控彩灯
英飞凌在传递智能生活、“感知世界”时扮演的角色
中国移动在标准、技术、建网、应用等领域加快布局
取代电子电路！世界最小半导体激光器诞生
5G时代 中国大陆PCB产值将上升到57%左右
在全球化道路上，海尔智家最宝贵的资源是用户
5G的发展,4G网络有没有降速?
数据库数据恢复-oracle数据库报错无法打开的数据恢复案例
IoT、AI与GDPR为黑客添柴火 资安情势更加暗潮汹涌
74ls165中文资料汇总（74ls165引脚图及功能_工作原理及应用电路）
在看了台大李宏毅教授的深度学习视频后，特别是介绍的第一部分rnn以及lstm，整个人醍醐灌顶。
0. 从rnn说起
循环神经网络（recurrent neural network，rnn）是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，rnn就能够很好地解决这类问题。
1. 普通rnn
先简单介绍一下一般的rnn。其主要形式如下图所示（图片均来自台大李宏毅教授的ppt）：
这里：
为当前状态下数据的输入， 表示接收到的上一个节点的输入。
为当前节点状态下的输出， 而为传递到下一个节点的输出。
通过上图的公式可以看到，输出 h' 与 x 和 h 的值都相关。
而 y 则常常使用 h' 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。
对这里的y如何通过 h' 计算得到往往看具体模型的使用方式。
通过序列形式的输入，我们能够得到如下形式的rnn。
2. lstm
2.1 什么是lstm
长短期记忆（long short-term memory, lstm）是一种特殊的rnn，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的rnn，lstm能够在更长的序列中有更好的表现。
lstm结构（图右）和普通rnn的主要输入输出区别如下所示。
相比rnn只有一个传递状态 ，lstm有两个传输状态，一个 （cell state），和一个 （hidden state）。rnn中的 等价于lstm中的 。
其中对于传递下去的 改变得很慢，通常输出的 是上一个状态传过来的 加上一些数值。
而 则在不同节点下往往会有很大的区别。
2.2 深入lstm结构
下面具体对lstm的内部结构来进行剖析。
首先使用lstm的当前输入 和上一个状态传递下来的 拼接训练得到四个状态。
其中 ， ， 是由拼接向量乘以权重矩阵之后，再通过一个 sigmoid 激活函数转换成0到1之间的数值，来作为一种门控状态。而 则是将结果通过一个 tanh 激活函数将转换成-1到1之间的值（这里使用 tanh 是因为这里是将其做为输入数据，而不是门控信号）。
下面开始进一步介绍这四个状态在lstm内部的使用（敲黑板）
是hadamard product，也就是操作矩阵中对应的元素相乘，因此要求两个相乘矩阵是同型的。 则代表进行矩阵加法。
lstm内部主要有三个阶段：
1. 忘记阶段。这个阶段主要是对上一个节点传进来的输入进行选择性忘记。简单来说就是会 “忘记不重要的，记住重要的”。
具体来说是通过计算得到的 （f表示forget）来作为忘记门控，来控制上一个状态的 哪些需要留哪些需要忘。
2. 选择记忆阶段。这个阶段将这个阶段的输入有选择性地进行“记忆”。主要是会对输入 进行选择记忆。哪些重要则着重记录下来，哪些不重要，则少记一些。当前的输入内容由前面计算得到的 表示。而选择的门控信号则是由 （i代表information）来进行控制。
将上面两步得到的结果相加，即可得到传输给下一个状态的 。也就是上图中的第一个公式。
3. 输出阶段。这个阶段将决定哪些将会被当成当前状态的输出。主要是通过 来进行控制的。并且还对上一阶段得到的 进行了放缩（通过一个tanh激活函数进行变化）。
与普通rnn类似，输出 往往最终也是通过 变化得到。
3. 总结
以上，就是lstm的内部结构。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息；而不像普通的rnn那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说，尤其好用。
但也因为引入了很多内容，导致参数变多，也使得训练难度加大了很多。因此很多时候我们往往会使用效果和lstm相当但参数更少的gru来构建大训练量的模型。
A Filter Primer
OneClick.ai开发自动化人工智能平台，助力人工智能应用的普及
这些因素会影响指纹识别的体验
交流伺服电机为什么会被广泛使用和持续流行？
高通范博士分享职场干货 工程师修炼必经三阶段
RNN以及LSTM
CS5211高性价比替代PS8625|DP转LVDS方案
科学匠人 | 边江：在研究院的七年“技痒”，探寻大模型助力AI与产业融合之道
如何解决蜂鸣器声音小的问题
中兴通讯端到端绿色解决方案助力各行各业快速步入绿色发展通道
怎样用PIC16F676制作声控彩灯
英飞凌在传递智能生活、“感知世界”时扮演的角色
中国移动在标准、技术、建网、应用等领域加快布局
取代电子电路！世界最小半导体激光器诞生
5G时代 中国大陆PCB产值将上升到57%左右
在全球化道路上，海尔智家最宝贵的资源是用户
5G的发展,4G网络有没有降速?
数据库数据恢复-oracle数据库报错无法打开的数据恢复案例
IoT、AI与GDPR为黑客添柴火 资安情势更加暗潮汹涌
74ls165中文资料汇总（74ls165引脚图及功能_工作原理及应用电路）